CN118013117A - 对象推荐方法、装置、电子设备及可读存储介质 - Google Patents
对象推荐方法、装置、电子设备及可读存储介质 Download PDFInfo
- Publication number
- CN118013117A CN118013117A CN202410104255.6A CN202410104255A CN118013117A CN 118013117 A CN118013117 A CN 118013117A CN 202410104255 A CN202410104255 A CN 202410104255A CN 118013117 A CN118013117 A CN 118013117A
- Authority
- CN
- China
- Prior art keywords
- feature
- vector
- candidate
- feature vector
- candidate object
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 74
- 239000013598 vector Substances 0.000 claims abstract description 536
- 230000002452 interceptive effect Effects 0.000 claims abstract description 143
- 238000012512 characterization method Methods 0.000 claims abstract description 128
- 230000003993 interaction Effects 0.000 claims abstract description 67
- 230000009466 transformation Effects 0.000 claims abstract description 65
- 238000013528 artificial neural network Methods 0.000 claims abstract description 62
- 125000004122 cyclic group Chemical group 0.000 claims abstract description 38
- 238000012549 training Methods 0.000 claims description 117
- 238000012545 processing Methods 0.000 claims description 50
- 230000006870 function Effects 0.000 claims description 33
- 230000004927 fusion Effects 0.000 claims description 32
- 230000002087 whitening effect Effects 0.000 claims description 20
- 230000015654 memory Effects 0.000 claims description 19
- 238000004590 computer program Methods 0.000 claims description 17
- 230000000306 recurrent effect Effects 0.000 claims description 15
- 230000004913 activation Effects 0.000 claims description 11
- 238000010606 normalization Methods 0.000 claims description 8
- 238000004422 calculation algorithm Methods 0.000 abstract description 4
- 230000008569 process Effects 0.000 description 19
- 230000006399 behavior Effects 0.000 description 9
- 238000010586 diagram Methods 0.000 description 6
- 238000006243 chemical reaction Methods 0.000 description 5
- 238000004891 communication Methods 0.000 description 5
- 238000004364 calculation method Methods 0.000 description 4
- 230000000694 effects Effects 0.000 description 3
- 230000002708 enhancing effect Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000000605 extraction Methods 0.000 description 2
- 238000013507 mapping Methods 0.000 description 2
- 238000000926 separation method Methods 0.000 description 2
- 230000003213 activating effect Effects 0.000 description 1
- 238000013473 artificial intelligence Methods 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013136 deep learning model Methods 0.000 description 1
- 238000011161 development Methods 0.000 description 1
- 238000005516 engineering process Methods 0.000 description 1
- 238000012986 modification Methods 0.000 description 1
- 230000004048 modification Effects 0.000 description 1
- 230000003287 optical effect Effects 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 230000006403 short-term memory Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 238000012360 testing method Methods 0.000 description 1
- 238000000844 transformation Methods 0.000 description 1
Landscapes
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开涉及推荐系统算法技术领域,提供了一种对象推荐方法、装置、电子设备及可读存储介质。该方法包括:对各个候选对象特征数据和各个交互对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量和各个交互对象的表征特征向量;基于循环神经网络对各个候选对象的表征特征向量和各个交互对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量和各个交互对象的增强特征向量;基于各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率并选取向用户推荐的目标对象。解决现有技术中基于标识特征造成推荐系统推荐结果不准确的问题,提高了推荐模型的准确性。
Description
技术领域
本公开涉及推荐系统算法技术领域,尤其涉及一种对象推荐方法、装置、电子设备及可读存储介质。
背景技术
随着人工智能技术的发展,推荐系统逐渐应用在各个平台,包括应用于信息流平台的推荐系统、应用于长、短视频平台的推荐系统、应用于电商平台的推荐系统等等。推荐系统为向用户推荐实体或者非实体物品的系统,实体和非实体物品均为推荐系统需要进行推荐的对象,推荐系统基于用户的特征和对象的特征,从上亿级别的对象中选取目标对象推荐给用户,其中目标对象是推荐系统预测的用户感兴趣的对象。当前推荐系统对对象的表征学习主要是基于对象的标识特征,但是不同对象之间的标识特征大多不同,标识特征的迁移性差,通过对标识特征建模也不足以表征对象的特征,从而造成推荐系统对用户的偏好对象预测不够准确。在推荐系统中,历史数据通常偏向于之前表现良好的热门对象,推荐系统继续学习热门对象的特征,从而倾向于继续推荐热门对象更加忽视冷门对象,造成冷启动问题。
发明内容
有鉴于此,本公开实施例提供了一种对象推荐方法、装置、电子设备及可读存储介质,以解决现有技术中基于标识特征进行推荐造成推荐系统推荐结果不准确的问题。
本公开实施例的第一方面,提供了一种对象推荐方法,包括:获取候选对象特征数据集、用户的交互对象特征数据集以及用户的特征数据;通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,以及通过预训练模型对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量;对用户的特征数据进行向量嵌入,得到用户的初始特征向量,并对用户的初始特征向量进行交叉处理,得到用户的特征向量;基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,以及基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量;基于用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率;基于各个候选对象的预测概率,选取向用户推荐的目标对象。
本公开实施例的第二方面,提供了一种对象推荐装置,包括:获取模块,用于获取候选对象特征数据集、用户的交互对象特征数据集以及用户的特征数据;多模态表征模块,用于通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,以及通过预训练模型对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量;用户表征模块,用于对用户的特征数据进行向量嵌入,得到用户的初始特征向量,并对用户的初始特征向量进行交叉处理,得到用户的特征向量;向量增强模块,用于基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,以及基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量;预测模块,用于基于用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率;推荐模块,用于基于各个候选对象的预测概率,选取向用户推荐的目标对象。
本公开实施例的第三方面,提供了一种电子设备,包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序,该处理器执行计算机程序时实现上述方法的步骤。
本公开实施例的第四方面,提供了一种可读存储介质,该可读存储介质存储有计算机程序,该计算机程序被处理器执行时实现上述方法的步骤。
本公开实施例与现有技术相比存在的有益效果是:本公开将候选对象特征数据集中各个候选对象特征数据输入推荐模型的预训练模型进行多模态向量表征,候选对象特征数据包括候选对象的标识特征和文本特征,基于预训练模型对候选对象进行多模态表征,得到高质量的候选对象表征,即各个候选对象的表征特征向量,为后续的推荐任务提供了基础。以及将交互对象特征数据集中各个交互对象的特征数据输入预训练模型对交互对象特征数据集中各个交互对象的特征数据进行多模态向量表征,利用交互对象的标识特征和文本特征进行多模态建模,得到各个交互对象的表征特征向量,该特征向量包含了该交互对象的丰富信息,可以用于后续的推荐任务中,以对用户进行个性化的推荐。将用户的特征数据进行向量嵌入,将用户离散的特征数据转化为连续的、数值型的向量,即得到用户的初始特征向量,有助于计算机识别用户的特征数据,并将用户的初始特征向量输入深度神经网络进行变换和组合,得到用户的特征向量,生成更丰富和有意义的特征表示,即用户的特征向量,可以帮助推荐系统更好地理解用户特征信息,从而后续提供更准确的个性化推荐结果。将候选对象的表征特征向量输入循环神经网络进行非线性变换,得到更复杂、非线性的特征关系,捉候选对象的内在属性和关系,得到更具表达力具有更多语义信息的候选对象的增强特征向量,为后续的推荐决策提供更有力的支持。将各个交互对象的表征特征向量输入循环神经网络进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,更好地理解用户的动态行为和偏好,学习到更丰富和多样的特征表示,得到各个交互对象的增强特征向量,可以更好地支持后续的推荐模型对用户对各个候选对象的喜好预测,得到更准确的推荐结果。将用户的特征向量、候选对象的增强特征向量和各个交互对象的增强特征向量进行拼接,并将拼接结果输入神经网络进行特征变换,输入数据经过一系列非线性转换,逐步从较低层次的特征表示转化为更高层次的特征表征,可以捕捉和抽象复杂的数据模式和关系,对候选对象进行概率预测,输出得到候选对象的预测概率,可以表示推荐模型预测的用户对候选对象的喜好或兴趣程度。对各个候选对象均进行概率预测,得到各个候选对象的预测概率,并基于各个候选对象的预测概率,选取预测概率高的候选对象作为目标对象推荐给用户。本公开通过预训练模型对候选对象特征数据、交互对象特征数据进行多模态建模,得到包括丰富信息的对象表征,解决现有技术中基于标识特征进行推荐造成推荐系统推荐结果不准确的问题,提高了推荐系统的推荐模型的准确性。
附图说明
为了更清楚地说明本公开实施例中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本公开的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动的前提下,还可以根据这些附图获得其它的附图。
图1是本公开实施例的应用场景的场景示意图;
图2是本公开实施例提供的一种对象推荐方法的流程示意图;
图3是本公开实施例提供的另一种对象推荐方法的流程示意图;
图4是本公开实施例提供的再一种对象推荐方法的流程示意图;
图5是本公开实施例提供的一种对象推荐装置的结构示意图;
图6是本公开实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中,为了说明而不是为了限定,提出了诸如特定系统结构、技术之类的具体细节,以便透彻理解本公开实施例。然而,本领域的技术人员应当清楚,在没有这些具体细节的其它实施例中也可以实现本公开。在其它情况中,省略对众所周知的系统、装置、电路以及方法的详细说明,以免不必要的细节妨碍本公开的描述。
需要说明的是,本公开所涉及的用户信息(包括但不限于终端设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等),均为经用户授权或者经过各方充分授权的信息和数据。
下面将结合附图详细说明根据本公开实施例的一种对象推荐方法和装置。
图1是本公开实施例的应用场景的场景示意图。该应用场景可以包括终端设备1、2和3、服务器4以及网络5。
终端设备1、2和3可以是硬件,也可以是软件。当终端设备1、2和3为硬件时,其可以是具有显示屏且支持与服务器4通信的各种电子设备,包括但不限于智能手机、平板电脑、膝上型便携计算机和台式计算机等;当终端设备1、2和3为软件时,其可以安装在如上的电子设备中。终端设备1、2和3可以实现为多个软件或软件模块,也可以实现为单个软件或软件模块,本公开实施例对此不作限制。进一步地,终端设备1、2和3上可以安装有各种应用,例如数据处理应用、即时通信工具、社交平台软件、搜索类应用、购物类应用等。
服务器4可以是提供各种服务的服务器,例如,对与其建立通信连接的终端设备发送的请求进行接收的后台服务器,该后台服务器可以对终端设备发送的请求进行接收和分析等处理,并生成处理结果。服务器4可以是一台服务器,也可以是由若干台服务器组成的服务器集群,或者还可以是一个云计算服务中心,本公开实施例对此不作限制。
需要说明的是,服务器4可以是硬件,也可以是软件。当服务器4为硬件时,其可以是为终端设备1、2和3提供各种服务的各种电子设备。当服务器4为软件时,其可以是为终端设备1、2和3提供各种服务的多个软件或软件模块,也可以是为终端设备1、2和3提供各种服务的单个软件或软件模块,本公开实施例对此不作限制。
网络5可以是采用同轴电缆、双绞线和光纤连接的有线网络,也可以是无需布线就能实现各种通信设备互联的无线网络,例如,蓝牙(Bluetooth)、近场通信(Near FieldCommunication,NFC)、红外(Infrared)等,本公开实施例对此不作限制。
用户可以通过终端设备1、2和3经由网络5与服务器4建立通信连接,以接收或发送信息等。具体地,服务器4获取候选对象特征数据集、用户的交互对象特征数据集以及用户的特征数据;通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,以及通过预训练模型对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量;对用户的特征数据进行向量嵌入,得到用户的初始特征向量,并对用户的初始特征向量进行交叉处理,得到用户的特征向量;基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,以及基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量;基于用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率;基于各个候选对象的预测概率,选取向用户推荐的目标对象。
需要说明的是,终端设备1、2和3、服务器4以及网络5的具体类型、数量和组合可以根据应用场景的实际需求进行调整,本公开实施例对此不作限制。
图2是本公开实施例提供的一种对象推荐方法的流程示意图。图2的对象推荐方法可以由图1的服务器执行。如图2所示,该对象推荐方法包括:
步骤201,获取候选对象特征数据集、用户的交互对象特征数据集以及用户的特征数据。
在一些实施例中,本公开的对象推荐方法可以应用在多种平台的推荐系统,包括房屋租赁购买平台、长视频平台、短视频平台、新闻资讯平台等等。上述候选对象特征数据集可以是通过召回的方法从平台数据库中得到,平台数据库中的对象可以达到上亿级别,通过召回的方法可以得到上千个数量级别的候选对象特征数据。本公开不对候选对象的数量做限制,候选对象可以为千级别,也可以为万级别。本公开的对象推荐方法可以应用于房屋租赁购买平台,具体地,上述候选对象和交互对象可以为房屋。候选对象特征数据包括候选对象的多个标识特征和多个文本特征,候选对象的标识特征可以为反映候选对象个体独特身份的标识,可以用来区分不同的对象或者用户,可以有效表示对象或者用户的独特性,具体地,当本公开提供的对象推荐方法被应用于房屋租赁平台时,候选对象的标识特征可以为房屋的单元ID,房屋的楼栋ID,房屋所属项目的ID等等。候选对象的文本特征是用于描述和表示候选对象的内容的语义信息,例如,候选对象的文本特征可以为房屋在平台上的标题文本、房屋所属的楼盘字典信息、房屋的配套设施信息、房屋所在小区的信息等等,此时,上述房屋均为候选对象。上述用户的交互对象特征数据集可以为用户已点击、已收藏、已浏览的多个交互对象的特征数据。交互对象的特征数据包括交互对象的多个标识特征和多个文本特征,具体地,交互对象为房屋,交互对象的文本特征可以为房屋在平台上的标题文本、房屋所属的楼盘字典信息、房屋的配套设施信息、房屋所在小区的信息、用户与该房屋交互的场景、用户的交互行为类型、用户与该房屋的交互时间等等,交互对象的标识特征可以为房屋的单元ID,房屋的楼栋ID,房屋所属项目的ID等等。用户的特征数据在本公开中可以为用户的年龄、性别、用户的标识特征、用户的活跃度等等。对于对象,通过将标识特征与文本特征结合起来,可以更全面地表示对象的特征,可以帮助推荐模型更好地理解对象的信息和属性以及用户的特征,对用户进行更精准的推荐,提高推荐模型的准确性。
步骤202,通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,以及通过预训练模型对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量。
在一些实施例中,房屋租赁平台可以使用推荐模型,将候选对象特征数据集、用户的交互对象特征数据集以及用户的特征数据输入推荐模型,推荐模型基于上述输入数据对各个候选对象进行概率预测,得到各个候选对象的预测概率,候选对象的预测概率可以表征推荐模型预测的用户对于该候选对象的喜好程度。
在一些实施例中,推荐模型包括预训练模型。在本公开中多模态向量表征可以为将不同的特征数据转换为统一的向量表示,以便于进行后续深度学习处理,候选对象特征数据包括候选对象的多个文本特征和多个标识特征,交互对象的特征数据包括交互对象的多个文本特征和多个标识特征。将候选对象特征数据输入训练完成的预训练模型对候选对象特征数据进行处理,处理过程包括复杂的非线性变换和特征提取,经过预训练模型的处理,候选对象特征数据被转换为高维的、向量的表示形式,即候选对象的表征特征向量,可以更好地捕捉输入数据的内在结构和语义信息,得到高质量的候选对象特征数据表征。将各个交互对象特征数据输入训练完成的预训练模型对各个交互对象特征数据进行处理,处理过程包括复杂的非线性变换和特征提取,经过预训练模型的处理,各个交互对象特征数据被转换为高维的、向量的表示形式,即各个交互对象的表征特征向量,可以更好地捕捉各个交互对象特征数据的内在结构和语义信息,得到高质量的各个交互对象特征数据表征。通过上述多模态向量表征的过程,可以得到各个候选对象的表征特征向量和各个交互对象的表征特征向量,可以进一步用于推荐模型的其他处理过程,如概率预测等。通过多模态向量表征的方法能够有效地整合候选对象、交互对象不同类型的特征数据,提高推荐系统的准确性和泛化能力。
步骤203,对用户的特征数据进行向量嵌入,得到用户的初始特征向量,并对用户的初始特征向量进行交叉处理,得到用户的特征向量。
在一些实施例中,用户的特征数据包括用户的多个离散特征和多个连续特征,用户的多个离散特征在本公开中可以为用户的性别、用户的标识特征、用户所在城市等等,用户的多个离散特征在本公开实施例中可以为用户的活跃度、用户的年龄等等。通过哈希编码对用户的各个离散特征进行编码处理,可以将用户的离散特征统一地表示为二进制字符串,即用户的各个离散特征编码结果,从而有助于后续的存储、计算等步骤。通过将用户的各个离散特征编码结果输入第一嵌入embbeding层进行向量嵌入,将用户的各个离散特征编码结果从哈希编码的二进制形式转换为连续的向量表示,有助于捕捉特征之间的语义信息和相似性,使得推荐模型能够更好地理解和处理输入的特征数据,得到用户的各个离散特征向量;对用户的各个连续特征进行分桶处理,将用户的连续特征的值域划分为若干个离散的桶,并将用户的连续特征的值映射到相应的桶中,得到用户的各个连续特征的分桶处理结果;将用户的各个连续特征的分桶处理结果输入第一embbeding层进行向量嵌入,得到用户的各个连续特征向量,将离散化的特征转化为向量;对用户的各个离散特征向量和用户的各个连续特征向量进行拼接处理,得到更高维度的用户的初始特征向量,综合用户的离散和连续特征的所有信息。并对用户的初始特征向量进行交叉处理,将用户的初始特征向量输入深度神经网络,学习输入数据中的复杂模式和关系,得到用户的特征向量。用于后续的概率预测等任务,以实现更精准的对象推荐,提高推荐模型的准确性。
步骤204,基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,以及基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量。
在一些实施例中,推荐模型还包括循环神经网络,具体地,循环神经网络可以为(Rerrent Neural Network,RNN)、长短期记忆网络(Long Short Term Memory Network,LSTM)、门控循环单元(Gated Recurrent Unit,GRU)等等。在上述循环神经网络为RNN时,RNN包括多个记忆单元,将候选对象的表征特征向量输入RNN,RNN的记忆单元可以根据前一时刻的隐藏状态和当前时刻的输入进行计算,得到当前时刻的隐藏状态,逐个处理输入的候选对象的表征特征向量的每个元素,捕捉时序依赖关系,在RNN的每个记忆单元中,通过激活函数进行非线性变换,以使得输入的特征向量经过RNN处理后可以捕捉到更复杂的模式和关系,得到候选对象的增强特征向量。将多个候选对象的表征特征向量输入RNN进行非线性变换,得到各个候选对象的增强特征向量。将各个交互对象的表征特征向量输入RNN,RNN的记忆单元可以根据前一时刻的隐藏状态和当前时刻的输入进行计算,得到当前时刻的隐藏状态,逐个处理输入的各个交互对象的表征特征向量,捕捉时序依赖关系,在RNN的每个记忆单元中,通过激活函数进行非线性变换,以使得输入的各个交互对象的表征特征向量经过RNN处理后可以捕捉到更复杂的模式和关系,得到各个交互对象的增强特征向量。通过循环神经网络对表征特征向量进行非线性变换,可以进一步提高特征向量质量,以及提高推荐系统的性能。
步骤205,基于用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率。
在一些实施例中,根据用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到该用户对于各个候选对象是否会产生点击行为的预测概率,各个候选对象的预测概率可以是介于0~1之间的数值,预测概率越高,表明推荐模型预测对应的候选对象被该用户点击的可能性越大。上述各个候选对象的预测概率是后续进行排序推荐的前提,选取预测概率较高的多个候选对象向用户进行推荐,提高上述推荐模型的准确性并改善了用户在此平台的使用体验。
步骤206,基于各个候选对象的预测概率,选取向用户推荐的目标对象。
在一些实施例中,各个候选对象的预测概率反映了推荐模型预测的用户对各个候选对象的喜好程度,可以设置一个预设阈值,将各个候选对象的预测概率与预设阈值进行比较,在候选对象的预测概率大于等于预设阈值的情况下,将对应的候选对象确定为向用户推荐的目标对象。目标对象的数量本公开不作限制,可以是任意合理数量。上述预设阈值根据具体实施例中的测试结果进行设置,本公开不作限制。通过计算各个候选对象的预测概率并基于上述预测概率进行排序和选择,可以向用户提供与其兴趣和需求高度匹配的目标对象,从而提高推荐模型推荐效果,解决现有技术中基于标识特征造成推荐系统推荐结果不准确的问题。
在一些实施例中,在选取向用户推荐的目标对象之后,还包括:根据用户的反馈信息更新推荐模型的参数。用户的反馈信息可以包括用户对推荐的目标对象感兴趣并进行了互动(如点击、购买、评论等),这些反馈信息可以作为新的数据输入到推荐模型中,更新用户的特征向量等,提高后续推荐的准确性和个性化程度。
基于前述实施例提供的方法,本公开将候选对象特征数据集中各个候选对象特征数据输入推荐模型的预训练模型进行多模态向量表征,候选对象特征数据包括候选对象的标识特征和文本特征,基于预训练模型对候选对象进行多模态表征,得到高质量的候选对象表征,即各个候选对象的表征特征向量,为后续的推荐任务提供了基础。以及将交互对象特征数据集中各个交互对象的特征数据输入预训练模型对交互对象特征数据集中各个交互对象的特征数据进行多模态向量表征,利用交互对象的标识特征和文本特征进行多模态建模,得到各个交互对象的表征特征向量,该特征向量包含了该交互对象的丰富信息,可以用于后续的推荐任务中,以对用户进行个性化的推荐。将用户的特征数据进行向量嵌入,将用户离散的特征数据转化为连续的、数值型的向量,即得到用户的初始特征向量,有助于计算机识别用户的特征数据,并将用户的初始特征向量输入深度神经网络进行变换和组合,得到用户的特征向量,生成更丰富和有意义的特征表示,即用户的特征向量,可以帮助推荐系统更好地理解用户特征信息,从而后续提供更准确的个性化推荐结果。将候选对象的表征特征向量输入循环神经网络进行非线性变换,得到更复杂、非线性的特征关系,捉候选对象的内在属性和关系,得到更具表达力具有更多语义信息的候选对象的增强特征向量,为后续的推荐决策提供更有力的支持。将各个交互对象的表征特征向量输入循环神经网络进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,更好地理解用户的动态行为和偏好,学习到更丰富和多样的特征表示,得到各个交互对象的增强特征向量,可以更好地支持后续的推荐模型对用户对各个候选对象的喜好预测,得到更准确的推荐结果。将用户的特征向量、候选对象的增强特征向量和各个交互对象的增强特征向量进行拼接,并将拼接结果输入神经网络进行特征变换,输入数据经过一系列非线性转换,逐步从较低层次的特征表示转化为更高层次的特征表征,可以捕捉和抽象复杂的数据模式和关系,对候选对象进行概率预测,输出得到候选对象的预测概率,可以表示推荐模型预测的用户对候选对象的喜好或兴趣程度。对各个候选对象均进行概率预测,得到各个候选对象的预测概率,并基于各个候选对象的预测概率,选取预测概率高的候选对象作为目标对象推荐给用户。本公开通过预训练模型对候选对象特征数据、交互对象特征数据进行多模态建模,得到包括丰富信息的对象表征,解决现有技术中基于标识特征进行推荐造成推荐系统推荐结果不准确的问题,提高了推荐系统的推荐模型的准确性。
在一些实施例中,候选对象特征数据包括候选对象的多个文本特征和候选对象的多个标识特征;通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,包括:对各个候选对象的各个文本特征输入文本编码器进行编码处理,得到各个候选对象的各个文本编码结果,并将各个候选对象的各个文本编码结果输入白化层进行固定嵌入,得到各个候选对象的各个文本的目标特征向量;对各个候选对象的多个标识特征进行向量嵌入,得到各个候选对象的各个标识特征的初始特征向量;并将各个候选对象的各个标识特征的初始特征向量输入第一多层感知机进行特征变换,得到各个候选对象的各个标识特征的特征向量;将各个候选对象的各个标识特征的特征向量输入白化层进行固定嵌入,得到各个候选对象的各个标识特征的目标特征向量;基于各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量,确定得到各个候选对象的表征特征向量。
在一些实施例中,候选对象的标识特征可以为反映候选对象个体独特身份的标识,可以用来区分不同的对象,具体地,当本公开提供的对象推荐方法被应用于房屋租赁平台时,候选对象的标识特征可以为房屋的单元ID,房屋的楼栋ID,房屋所属项目的ID等等。候选对象的文本特征是用于描述和表示候选对象的内容的语义信息,例如,候选对象的文本特征可以为房屋在平台上的标题文本、房屋所属的楼盘字典信息、房屋的配套设施信息、房屋所在小区的信息等等。
在一些实施例中,预训练模型包括文本编码器、白化层、第二ebbedding层、第一多层感知机。文本编码器可以为MacBert。将各个候选对象的文本特征输入到MacBert模型中,进行编码处理,捕捉各个候选对象的文本特征中的语义信息,将文本特征转换为相应的语义向量,得到各个候选对象的各个文本编码结果。并将各个候选对象的各个文本编码结果输入预训练模型的白化层,对各个候选对象的各个文本编码结果进行固定嵌入,将各个候选对象的各个文本编码结果映射到一个固定的嵌入空间,使得各个候选对象的各个文本编码结果的分布更加均匀,可以进一步调整和规范特征向量,得到各个候选对象的各个文本的目标特征向量,各个候选对象的各个文本的目标特征向量包含了文本特征的语义信息和标准化后的分布特征。将各个候选对象的多个标识特征输入第二ebbedding层进行向量嵌入,将离散的各个候选对象的多个标识特征转换为连续的向量表示,得到各个候选对象的各个标识特征的初始特征向量。并将各个候选对象的各个标识特征的初始特征向量输入第一多层感知机进行特征变换,进一步提取和增强特征的表示能力,得到更为丰富和准确的各个候选对象的各个标识特征的特征向量。将各个候选对象的各个标识特征的特征向量输入到白化层中进行固定嵌入,可以进一步调整和规范各个候选对象的各个标识特征的特征向量,得到了更为精准和规范的各个候选对象的各个标识特征的目标特征向量。并基于各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量,得到各个候选对象的表征特征向量。各个候选对象的表征特征向量综合了文本和标识特征的语义信息,为后续的推荐算法提供了丰富和准确的数据基础,可以提高推荐系统的准确性和个性化程度。
在一些实施例中,交互对象的特征数据包括交互对象的多个文本特征和交互对象的多个标识特征;通过预训练模型对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量,包括:对各个交互对象的各个文本特征输入文本编码器进行编码处理,得到各个交互对象的各个文本编码结果,并将各个交互对象的各个文本编码结果输入白化层进行固定嵌入,得到各个交互对象的各个文本的目标特征向量;对各个交互对象的多个标识特征进行向量嵌入,得到各个交互对象的各个标识特征的初始特征向量;并将各个交互对象的各个标识特征的初始特征向量输入第一多层感知机进行特征变换,得到各个交互对象的各个标识特征的特征向量;将各个交互对象的各个标识特征的特征向量输入白化层进行固定嵌入,得到各个交互对象的各个标识特征的目标特征向量;基于各个交互对象的各个文本的目标特征向量和各个交互对象的各个标识特征的目标特征向量,确定得到各个交互对象的表征特征向量。
在一些实施例中,基于各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量,确定得到各个候选对象的表征特征向量,包括:对各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量进行拼接,得到各个候选对象的初始融合特征向量;将各个候选对象的初始融合特征向量输入第二多层感知机进行特征变换,得到各个候选对象的融合特征向量,并对各个候选对象的融合特征向量进行归一化处理,得到各个候选对象的表征特征向量。
在一些实施例中,可以将各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量按顺序或按维度进行拼接合并,形成更高维度的特征向量,即各个候选对象的初始融合特征向量,各个候选对象的初始融合特征向量综合了候选对象的多种属性。第二多层感知机可以是一个深度学习模型,可以对输入数据进行复杂的非线性变换。将各个候选对象的初始融合特征向量输入第二多层感知机进行特征变换,可以进一步提取和增强特征的表示能力,得到更为丰富和准确的各个候选对象的融合特征向量。并对各个候选对象的融合特征向量进行归一化处理,可以调整各个候选对象的融合特征向量的尺度,使其具有可比性。通过归一化处理,可以消除不同特征之间的尺度差异,得到各个候选对象的表征特征向量,各个候选对象的表征特征向量能够全面反映候选对象的属性,为推荐系统的准确性和个性化提供了有力支持,提高推荐模型的准确性,得到更准确的推荐结果。
上述第一多层感知机主要用于处理和转换标识特征的初始特征向量,通过接收标识特征的初始特征向量,并进行复杂的非线性变换,以进一步提取和增强标识特征的表示能力。上述第二多层感知机则主要用于处理和转换更高层次的初始融合特征向量,通过接收初始融合特征向量,并进行特征变换,进一步增强特征的表示能力。通过第一多层感知机和第二多层感知机的协同工作,可以有效地提取和增强候选对象的各种特征表示,为后续的计算处理提供基础。
在一些实施例中,基于各个交互对象的各个文本的目标特征向量和各个交互对象的各个标识特征的目标特征向量,确定得到各个交互对象的表征特征向量,包括:对各个交互对象的各个文本的目标特征向量和各个交互对象的各个标识特征的目标特征向量进行拼接,得到各个交互对象的初始融合特征向量;将各个交互对象的初始融合特征向量输入第二多层感知机进行特征变换,得到各个交互对象的融合特征向量,并对各个交互对象的融合特征向量进行归一化处理,得到各个交互对象的表征特征向量。
参考图3,预训练模型300可以包括文本编码器301、第二嵌入层302、第一多层感知机303、白化层304、第一拼接处理模块305、第二多层感知机306、归一化处理模块307。将各个候选对象的各个文本特征输入文本编码器301进行编码处理,得到各个候选对象的各个文本编码结果,并将各个候选对象的各个文本编码结果输入白化层304进行固定嵌入,得到各个候选对象的各个文本的目标特征向量。将各个候选对象的多个标识特征输入第二嵌入层302进行向量嵌入,得到各个候选对象的各个标识特征的初始特征向量,并将各个候选对象的各个标识特征的初始特征向量输入第一多层感知机303进行特征变换,得到各个候选对象的各个标识特征的特征向量。将各个候选对象的各个标识特征的特征向量输入白化层304进行固定嵌入,得到各个候选对象的各个标识特征的目标特征向量。将各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量输入第一拼接处理模块305进行拼接,得到各个候选对象的初始融合特征向量。将各个候选对象的初始融合特征向量输入第二多层感知机306进行特征变换,得到各个候选对象的融合特征向量,并将各个候选对象的融合特征向量输入归一化处理模块307进行归一化处理,得到各个候选对象的表征特征向量。通过预训练模型300对各个候选对象的特征数据进行多模态向量表征,可以得到各个候选对象的表征特征向量,各个候选对象的表征特征向量能够全面反映候选对象的属性,为推荐系统的准确性和个性化提供了有力支持,提高推荐模型的准确性,得到更准确的推荐结果。
在一些实施例中,基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,包括:将各个候选对象的表征特征向量输入循环神经网络,基于各个候选对象的表征特征向量和上一个隐藏层的状态计算得到当前隐藏层状态,并将当前隐藏层状态输入循环神经网络的激活函数层,得到各个候选对象的增强特征向量。
在一些实施例中,在循环神经网络中,当前隐藏层的状态是基于当前输入的表征特征向量以及上一个隐藏层的状态计算得到。基于当前输入的候选对象的表征特征向量和上一个隐藏层的状态,通过特定的权重和激活函数计算得到当前隐藏层的状态,捕捉到历史信息并产生上下文相关的特征表示,并将当前隐藏层状态输入到一个激活函数层,例如ReLU(Rectified Linear Unit)函数或sigmoid函数,学习到更加复杂的特征关系,得到候选对象的增强特征向量。通过循环神经网络的转换和增强,捕获了更多的上下文信息和时序依赖关系,得到候选对象的增强特征向量。将各个候选对象的表征特征向量输入循环神经网络,得到各个候选对象的增强特征向量,可以进一步增强特征表示的丰富度和上下文相关性,为后续的概率预测任务提供更准确的数据。
在一些实施例中,基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量,包括:将各个交互对象的表征特征向量基于用户的交互次序输入循环神经网络,基于各个交互对象的表征特征向量和上一个隐藏层的状态计算得到当前隐藏层状态,并将当前隐藏层状态输入循环神经网络的激活函数层,得到各个交互对象的增强特征向量。
在一些实施例中,基于用户的交互次序,将各个交互对象的表征特征向量输入循环神经网络,使得计算机识别用户与各个交互对象的历史交互信息,基于当前输入的各个交互对象的表征特征向量以及上一个隐藏层的状态,通过特定的权重和激活函数计算得到当前隐藏层的状态,使得循环神经网络可以利用历史交互信息,为各个交互对象生成更加丰富和上下文相关的特征表示,并将当前隐藏层状态输入到一个激活函数层,例如ReLU函数或sigmoid函数,学习到更加复杂的特征关系,得到交互对象的增强特征向量。通过循环神经网络的转换和增强,捕获更多的上下文信息和时序依赖关系,得到交互对象的增强特征向量。将各个交互对象的表征特征向量输入循环神经网络,得到各个交互对象的增强特征向量,可以进一步增强交互对象的特征表示的丰富度和上下文相关性,为后续的概率预测任务提供更准确的数据。
在一些实施例中,基于用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率,包括:对用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量进行拼接处理,得到各个融合特征向量;将各个融合特征向量输入第三多层感知机进行特征变换,以使得对各个候选对象进行概率预测处理,得到各个候选对象的预测概率。
在一些实施例中,将用户的特征向量与各个候选对象的增强特征向量以及各个交互对象的增强特征向量进行拼接处理,整合不同来源的特征信息,得到各个融合特征向量,并将各个融合特征向量输入到第三多层感知机中进行特征变换,对各个融合特征向量进行更深层次的处理和变换,增强特征表示的复杂性和区分度,基于各个特征变换结果预测各个候选对象被用户点击或者其他交互行为的概率,各个候选对象的预测概率可以用于后续的推荐决策,例如根据概率值的大小对候选对象进行排序,从而为用户提供个性化的推荐。
参考图4,推荐模型可以包括预训练模型300、第一嵌入层401、深度神经网络402、循环神经网络403、第二拼接处理模块404、第三多层感知机405。通过预训练模型300对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,以及通过预训练模型300对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量。用户的特征数据输入第一嵌入层401进行向量嵌入,得到用户的初始特征向量,并将用户的初始特征向量输入深度神经网络402进行交叉处理,得到用户的特征向量。基于循环神经网络403对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,以及基于循环神经网络403对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量。将用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量输入第二拼接处理模块404进行拼接处理,得到各个融合特征向量。将各个融合特征向量输入第三多层感知机405进行特征变换,以使得对各个候选对象进行概率预测处理,得到各个候选对象的预测概率。基于各个候选对象的预测概率,选取向用户推荐的目标对象。向用户提供与其兴趣和需求高度匹配的目标对象,从而提高推荐模型推荐效果,解决现有技术中基于标识特征造成推荐系统推荐结果不准确的问题。
在一些实施例中,通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征之前,还包括:获取预训练模型的训练数据集,训练数据集中包含多个训练对象特征数据,各个训练对象特征数据是基于用户交互次序排列的;选取训练数据集中任意一个训练对象特征数据作为第一对象特征数据,第一对象特征数据后次序的训练对象特征数据为第二对象特征数据,训练数据集中除去第一对象特征数据、第二对象特征数据均作为第三对象特征数据;选取第一对象特征数据、第二对象特征数据构建正样本对,选取第一对象特征数据、第三对象特征数据构建多个负样本对;将正样本对、各个负样本对输入预训练模型,通过预训练模型对第一对象特征数据进行多模态向量表征,得到第一对象的表征特征向量,通过预训练模型对第二对象特征数据进行多模态向量表征,得到第二对象的表征特征向量,通过预训练模型对各个第三对象特征数据进行向量表征,得到各个第三对象的表征特征向量;基于第一对象的表征特征向量、第二对象的表征特征向量以及各个第三对象的表征特征向量,得到信息噪声对比损失函数对应的损失值;并基于损失值更新预训练模型的参数,在损失值小于或等于预设值的情况下,得到训练完成的预训练模型。
在一些实施例中,推荐模型的训练过程包括预训练和微调两个阶段,预训练为采用无监督学习的训练方法对预训练模型进行训练的过程,上述为预训练模型的训练过程。获取预训练模型的训练数据集,训练数据集中包含多个训练对象特征数据,各个训练对象特征数据是基于用户交互次序排列的。从训练数据集中选取任意一个训练对象特征数据作为第一对象特征数据,随后选取第一对象特征数据后面的次序的训练对象特征数据作为第二对象特征数据。将剩余的训练对象特征数据作为第三对象特征数据。基于第一对象特征数据和第二对象特征数据,构建正样本对。并基于第一对象特征数据和多个第三对象特征数据中,可以构建多个负样本对,各个负样本对均包含一个第一对象特征数据和一个第三对象特征数据。
将正样本对、各个负样本对输入预训练模型,第一对象特征数据包括第一对象的多个文本特征和第一对象的多个标识特征。
第一对象的多个标识特征可以为房屋的单元ID,房屋的楼栋ID,房屋所属项目的ID等等,第一对象的多个文本特征可以为房屋在平台上的标题文本、房屋所属的楼盘字典信息、房屋的配套设施信息、房屋所在小区的信息、用户与该房屋交互的场景、用户的交互行为类型、用户与该房屋的交互时间等等。对第一对象的文本特征进行随机遮挡处理,得到第一对象的遮挡后文本特征,可以采用随机Mask机制对文本特征进行随机遮挡处理。对第一对象的遮挡后文本特征进行文本编码处理,得到第一对象的遮挡后文本编码结果,并将第一对象的遮挡后文本编码结果输入白化层进行固定嵌入,得到第一对象的遮挡后文本的目标特征向量;对第一对象的标识特征进行向量嵌入,得到第一对象的标识特征的初始特征向量,并将第一对象的标识特征的初始特征向量输入第一多层感知机进行特征变换,得到第一对象的标识特征的特征向量;将第一对象的标识特征的特征向量输入白化层进行固定嵌入,得到第一对象的标识特征的目标特征向量;基于第一对象的遮挡后文本的目标特征向量和第一对象的标识特征的目标特征向量,得到第一对象的表征特征向量。
第二对象的多个标识特征可以为房屋的单元ID,房屋的楼栋ID,房屋所属项目的ID等等,第二对象的多个文本特征可以为房屋在平台上的标题文本、房屋所属的楼盘字典信息、房屋的配套设施信息、房屋所在小区的信息、用户与该房屋交互的场景、用户的交互行为类型、用户与该房屋的交互时间等等。对第二对象的文本特征进行随机遮挡处理,得到第二对象的遮挡后文本特征,可以采用随机Mask机制对文本特征进行随机遮挡处理。对第二对象的遮挡后文本特征进行文本编码处理,得到第二对象的遮挡后文本编码结果,并将第二对象的遮挡后文本编码结果输入白化层进行固定嵌入,得到第二对象的遮挡后文本的目标特征向量;对第二对象的标识特征进行向量嵌入,得到第二对象的标识特征的初始特征向量,并将第二对象的标识特征的初始特征向量输入第一多层感知机进行特征变换,得到第二对象的标识特征的特征向量;将第二对象的标识特征的特征向量输入白化层进行固定嵌入,得到第二对象的标识特征的目标特征向量;基于第二对象的遮挡后文本的目标特征向量和第二对象的标识特征的目标特征向量,得到第二对象的表征特征向量。
第三对象的多个标识特征可以为房屋的单元ID,房屋的楼栋ID,房屋所属项目的ID等等,第三对象的多个文本特征可以为房屋在平台上的标题文本、房屋所属的楼盘字典信息、房屋的配套设施信息、房屋所在小区的信息、用户与该房屋交互的场景、用户的交互行为类型、用户与该房屋的交互时间等等。对各个第三对象的文本特征进行随机遮挡处理,得到各个第三对象的遮挡后文本特征,可以采用随机Mask机制对文本特征进行随机遮挡处理。对各个第三对象的遮挡后文本特征进行文本编码处理,得到各个第三对象的遮挡后文本编码结果,并将各个第三对象的遮挡后文本编码结果输入白化层进行固定嵌入,得到各个第三对象的遮挡后文本的目标特征向量;对各个第三对象的标识特征进行向量嵌入,得到各个第三对象的标识特征的初始特征向量,并将各个第三对象的标识特征的初始特征向量输入第一多层感知机进行特征变换,得到各个第三对象的标识特征的特征向量;将各个第三对象的标识特征的特征向量输入白化层进行固定嵌入,得到各个第三对象的标识特征的目标特征向量;基于各个第三对象的遮挡后文本的目标特征向量和各个第三对象的标识特征的目标特征向量,得到各个第三对象的表征特征向量。
在一些实施例中,基于第一对象的表征特征向量、第二对象的表征特征向量以及各个第三对象的表征特征向量,可以得到信息噪声对比损失(Info Noise ContrastiveEstimation loss,InfoNCE)函数对应的损失值,并基于计算出的损失值,通过反向传播算法更新预训练模型的参数,直到损失值小于或等于预设值,停止训练,得到训练完成的预训练模型。此时预训练模型已经学习了如何从多模态数据中提取表征特征,以便于基于这些特征进行预测和推荐。
在一些实施例中,基于第一对象的表征特征向量、第二对象的表征特征向量以及各个第三对象的表征特征向量,得到信息噪声对比损失函数对应的损失值,包括:对第一对象的表征特征向量和第二对象的表征特征向量进行相乘,得到正样本的乘积;对第一对象的表征特征向量分别和各个第三对象的表征特征向量进行相乘,得到各个负样本的乘积;对各个负样本的乘积进行相加,得到负样本乘积和;基于正样本的乘积和负样本乘积和,得到信息噪声对比损失函数对应的损失值。
在一些实施例中,InfoNCE损失函数需要满足下述要求:即当正样本对中第一对象特征数据和第二对象特征数据相似,并且各个负样本对中第一对象特征数据和所有第三对象特征数据都不相似的时候,信息噪声对比损失函数对应的损失值应该比较低。反之,如果第一对象特征数据和第二对象特征数据不相似,或者第一对象特征数据和其他第三对象特征数据相似了,信息噪声对比损失函数对应的损失值就应该大,从而惩罚模型,促使预训练模型进行参数更新。通过将第一对象的表征特征向量与第二对象的表征特征向量进行相乘,得到正样本的乘积,可以衡量正样本对之间的相似性或相关性。对第一对象的表征特征向量分别和各个第三对象的表征特征向量进行相乘,得到各个负样本的乘积。并对各个负样本的乘积进行相加,得到负样本乘积和,可以衡量负样本对之间的相似性或相关性。基于正样本的乘积和负样本乘积和,可以得到信息噪声对比损失函数对应的损失值,该损失值可以用于指导预训练模型的训练过程,优化预训练模型的参数,提高推荐模型的预测准确性和推荐效果。
上述所有可选技术方案,可以采用任意结合形成本公开的可选实施例,在此不再一一赘述。
下述为本公开装置实施例,可以用于执行本公开方法实施例。对于本公开装置实施例中未披露的细节,请参照本公开方法实施例。
图5是本公开实施例提供的一种对象推荐装置的示意图。如图5所示,该对象推荐装置包括:
获取模块501,用于获取候选对象特征数据集、用户的交互对象特征数据集以及用户的特征数据;
多模态表征模块502,用于通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,以及通过预训练模型对交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个交互对象的表征特征向量;
用户表征模块503,用于对用户的特征数据进行向量嵌入,得到用户的初始特征向量,并对用户的初始特征向量进行交叉处理,得到用户的特征向量;
向量增强模块504,用于基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,以及基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量;
预测模块505,用于基于用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量对各个候选对象进行概率预测,得到各个候选对象的预测概率;
推荐模块506,用于基于各个候选对象的预测概率,选取向用户推荐的目标对象。
根据本公开实施例提供的技术方案,通过多模态表征模块502将候选对象特征数据集中各个候选对象特征数据输入推荐模型的预训练模型进行多模态向量表征,候选对象特征数据包括候选对象的标识特征和文本特征,基于预训练模型对候选对象进行多模态表征,得到高质量的候选对象表征,即各个候选对象的表征特征向量,为后续的推荐任务提供了基础。以及将交互对象特征数据集中各个交互对象的特征数据输入预训练模型对交互对象特征数据集中各个交互对象的特征数据进行多模态向量表征,利用交互对象的标识特征和文本特征进行多模态建模,得到各个交互对象的表征特征向量,该特征向量包含了该交互对象的丰富信息,可以用于后续的推荐任务中,以对用户进行个性化的推荐。通过用户表征模块503将用户的特征数据进行向量嵌入,将用户离散的特征数据转化为连续的、数值型的向量,即得到用户的初始特征向量,有助于计算机识别用户的特征数据,并将用户的初始特征向量输入深度神经网络进行变换和组合,得到用户的特征向量,生成更丰富和有意义的特征表示,即用户的特征向量,可以帮助推荐系统更好地理解用户特征信息,从而后续提供更准确的个性化推荐结果。通过向量增强模块504将候选对象的表征特征向量输入循环神经网络进行非线性变换,学习到更复杂、非线性的特征关系,捉候选对象的内在属性和关系,得到更具表达力具有更多语义信息的候选对象的增强特征向量,为后续的推荐决策提供更有力的支持。将各个交互对象的表征特征向量输入循环神经网络进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,更好地理解用户的动态行为和偏好,学习到更丰富和多样的特征表示,得到各个交互对象的增强特征向量,可以更好地支持后续的推荐模型对用户对各个候选对象的喜好预测,得到更准确的推荐结果。通过预测模块505将用户的特征向量、候选对象的增强特征向量和各个交互对象的增强特征向量进行拼接,并将拼接结果输入神经网络进行特征变换,输入数据经过一系列非线性转换,逐步从较低层次的特征表示转化为更高层次的特征表征,可以捕捉和抽象复杂的数据模式和关系,对候选对象进行概率预测,输出得到候选对象的预测概率,可以表示推荐模型预测的用户对候选对象的喜好或兴趣程度。对各个候选对象均进行概率预测,得到各个候选对象的预测概率,推荐模块506并基于各个候选对象的预测概率,选取预测概率高的候选对象作为目标对象推荐给用户。本公开通过预训练模型对候选对象特征数据、交互对象特征数据进行多模态建模,得到包括丰富信息的对象表征,解决现有技术中基于标识特征进行推荐造成推荐系统推荐结果不准确的问题,提高了推荐系统的推荐模型的准确性。
在一些实施例中,候选对象特征数据包括候选对象的多个文本特征和候选对象的多个标识特征;多模态表征模块502被配置为通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个候选对象的表征特征向量,包括对各个候选对象的各个文本特征输入文本编码器进行编码处理,得到各个候选对象的各个文本编码结果,并将各个候选对象的各个文本编码结果输入白化层进行固定嵌入,得到各个候选对象的各个文本的目标特征向量;对各个候选对象的多个标识特征进行向量嵌入,得到各个候选对象的各个标识特征的初始特征向量;并将各个候选对象的各个标识特征的初始特征向量输入第一多层感知机进行特征变换,得到各个候选对象的各个标识特征的特征向量;将各个候选对象的各个标识特征的特征向量输入白化层进行固定嵌入,得到各个候选对象的各个标识特征的目标特征向量;基于各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量,确定得到各个候选对象的表征特征向量。
在一些实施例中,多模态表征模块502被配置为基于各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量,确定得到各个候选对象的表征特征向量,包括对各个候选对象的各个文本的目标特征向量和各个候选对象的各个标识特征的目标特征向量进行拼接,得到各个候选对象的初始融合特征向量;将各个候选对象的初始融合特征向量输入第二多层感知机进行特征变换,得到各个候选对象的融合特征向量,并对各个候选对象的融合特征向量进行归一化处理,得到各个候选对象的表征特征向量。
在一些实施例中,向量增强模块504被配置为基于循环神经网络对各个候选对象的表征特征向量进行非线性变换,得到各个候选对象的增强特征向量,包括将各个候选对象的表征特征向量输入循环神经网络,基于各个候选对象的表征特征向量和上一个隐藏层的状态计算得到当前隐藏层状态,并将当前隐藏层状态输入循环神经网络的激活函数层,得到各个候选对象的增强特征向量。
在一些实施例中,向量增强模块504被配置为基于循环神经网络对各个交互对象的表征特征向量进行非线性变换,获取各个交互对象的表征特征向量之间的时序依赖关系,得到各个交互对象的增强特征向量,包括:将各个交互对象的表征特征向量基于用户的交互次序输入循环神经网络,基于各个交互对象的表征特征向量和上一个隐藏层的状态计算得到当前隐藏层状态,并将当前隐藏层状态输入循环神经网络的激活函数层,得到各个交互对象的增强特征向量。
在一些实施例中,预测模块505被配置为对用户的特征向量、各个候选对象的增强特征向量和各个交互对象的增强特征向量进行拼接处理,得到各个融合特征向量;将各个融合特征向量输入第三多层感知机进行特征变换,以使得对各个候选对象进行概率预测处理,得到各个候选对象的预测概率。
在一些实施例中,对象推荐装置被配置为通过预训练模型对候选对象特征数据集中各个候选对象特征数据进行向量表征之前,获取预训练模型的训练数据集,训练数据集中包含多个训练对象特征数据,各个训练对象特征数据是基于用户交互次序排列的;选取训练数据集中任意一个训练对象特征数据作为第一对象特征数据,第一对象特征数据后次序的训练对象特征数据为第二对象特征数据,训练数据集中除去第一对象特征数据、第二对象特征数据均作为第三对象特征数据;选取第一对象特征数据、第二对象特征数据构建正样本对,选取第一对象特征数据、第三对象特征数据构建多个负样本对;将正样本对、各个负样本对输入预训练模型,通过预训练模型对第一对象特征数据进行多模态向量表征,得到第一对象的表征特征向量,通过预训练模型对第二对象特征数据进行多模态向量表征,得到第二对象的表征特征向量,通过预训练模型对各个第三对象特征数据进行向量表征,得到各个第三对象的表征特征向量;基于第一对象的表征特征向量、第二对象的表征特征向量以及各个第三对象的表征特征向量,得到信息噪声对比损失函数对应的损失值;并基于损失值更新预训练模型的参数,在损失值小于或等于预设值的情况下,得到训练完成的预训练模型。
在一些实施例中,对象推荐装置被配置为基于第一对象的表征特征向量、第二对象的表征特征向量以及各个第三对象的表征特征向量,得到信息噪声对比损失函数对应的损失值,包括对第一对象的表征特征向量和第二对象的表征特征向量进行相乘,得到正样本的乘积;对第一对象的表征特征向量分别和各个第三对象的表征特征向量进行相乘,得到各个负样本的乘积;对各个负样本的乘积进行相加,得到负样本乘积和;基于正样本的乘积和负样本乘积和,得到信息噪声对比损失函数对应的损失值。
应理解,上述实施例中各步骤的序号的大小并不意味着执行顺序的先后,各过程的执行顺序应以其功能和内在逻辑确定,而不应对本公开实施例的实施过程构成任何限定。
图6是本公开实施例提供的电子设备6的示意图。如图6所示,该实施例的电子设备6包括:处理器601、存储器602以及存储在该存储器602中并且可在处理器601上运行的计算机程序603。处理器601执行计算机程序603时实现上述各个方法实施例中的步骤。或者,处理器601执行计算机程序603时实现上述各装置实施例中各模块/单元的功能。
电子设备6可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备6可以包括但不仅限于处理器601和存储器602。本领域技术人员可以理解,图6仅仅是电子设备6的示例,并不构成对电子设备6的限定,可以包括比图示更多或更少的部件,或者不同的部件。
处理器601可以是中央处理单元(Central Processing Unit,CPU),也可以是其它通用处理器、数字信号处理器(Digital Signal Processor,DSP)、专用集成电路(Application Specific Integrated Circuit,ASIC)、现场可编程门阵列(Field-Programmable Gate Array,FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。
存储器602可以是电子设备6的内部存储单元,例如,电子设备6的硬盘或内存。存储器602也可以是电子设备6的外部存储设备,例如,电子设备6上配备的插接式硬盘,智能存储卡(Smart Media Card,SMC),安全数字(Secure Digital,SD)卡,闪存卡(Flash Card)等。存储器602还可以既包括电子设备6的内部存储单元也包括外部存储设备。存储器602用于存储计算机程序以及电子设备所需的其它程序和数据。
所属领域的技术人员可以清楚地了解到,为了描述的方便和简洁,仅以上述各功能单元、模块的划分进行举例说明,实际应用中,可以根据需要而将上述功能分配由不同的功能单元、模块完成,即将装置的内部结构划分成不同的功能单元或模块,以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中,也可以是各个单元单独物理存在,也可以两个或两个以上单元集成在一个单元中,上述集成的单元既可以采用硬件的形式实现,也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时,可以存储在一个可读存储介质(例如计算机可读存储介质)中。基于这样的理解,本公开实现上述实施例方法中的全部或部分流程,也可以通过计算机程序来指令相关的硬件来完成,计算机程序可以存储在计算机可读存储介质中,该计算机程序在被处理器执行时,可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码,计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读存储介质可以包括:能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory,ROM)、随机存取存储器(Random AccessMemory,RAM)、电载波信号、电信信号以及软件分发介质等。
以上实施例仅用以说明本公开的技术方案,而非对其限制;尽管参照前述实施例对本公开进行了详细的说明,本领域的普通技术人员应当理解:其依然可以对前述各实施例所记载的技术方案进行修改,或者对其中部分技术特征进行等同替换;而这些修改或者替换,并不使相应技术方案的本质脱离本公开各实施例技术方案的精神和范围,均应包含在本公开的保护范围之内。
Claims (10)
1.一种对象推荐的方法,其特征在于,包括:
获取候选对象特征数据集、用户的交互对象特征数据集以及所述用户的特征数据;
通过预训练模型对所述候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个所述候选对象的表征特征向量,以及通过所述预训练模型对所述交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个所述交互对象的表征特征向量;
对所述用户的特征数据进行向量嵌入,得到所述用户的初始特征向量,并对所述用户的初始特征向量进行交叉处理,得到所述用户的特征向量;
基于循环神经网络对各个所述候选对象的表征特征向量进行非线性变换,得到各个所述候选对象的增强特征向量,以及基于所述循环神经网络对各个所述交互对象的表征特征向量进行非线性变换,获取各个所述交互对象的表征特征向量之间的时序依赖关系,得到各个所述交互对象的增强特征向量;
基于所述用户的特征向量、各个所述候选对象的增强特征向量和各个所述交互对象的增强特征向量对各个所述候选对象进行概率预测,得到各个所述候选对象的预测概率;
基于各个所述候选对象的预测概率,选取向所述用户推荐的目标对象。
2.根据权利要求1所述对象推荐的方法,其特征在于,所述候选对象特征数据包括所述候选对象的多个文本特征和所述候选对象的多个标识特征;所述通过预训练模型对所述候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个所述候选对象的表征特征向量,包括:
对各个所述候选对象的各个文本特征输入文本编码器进行编码处理,得到各个所述候选对象的各个文本编码结果,并将各个所述候选对象的各个文本编码结果输入白化层进行固定嵌入,得到各个所述候选对象的各个文本的目标特征向量;
对各个所述候选对象的多个标识特征进行向量嵌入,得到各个所述候选对象的各个标识特征的初始特征向量;并将各个所述候选对象的各个标识特征的初始特征向量输入第一多层感知机进行特征变换,得到各个所述候选对象的各个标识特征的特征向量;
将各个所述候选对象的各个标识特征的特征向量输入所述白化层进行固定嵌入,得到各个所述候选对象的各个标识特征的目标特征向量;
基于各个所述候选对象的各个文本的目标特征向量和各个所述候选对象的各个标识特征的目标特征向量,确定得到各个所述候选对象的表征特征向量。
3.根据权利要求2所述对象推荐的方法,其特征在于,所述基于各个所述候选对象的各个文本的目标特征向量和各个所述候选对象的各个标识特征的目标特征向量,确定得到各个所述候选对象的表征特征向量,包括:
对各个所述候选对象的各个文本的目标特征向量和各个所述候选对象的各个标识特征的目标特征向量进行拼接,得到各个所述候选对象的初始融合特征向量;
将各个所述候选对象的初始融合特征向量输入第二多层感知机进行特征变换,得到各个所述候选对象的融合特征向量,并对各个所述候选对象的融合特征向量进行归一化处理,得到各个所述候选对象的表征特征向量。
4.根据权利要求1所述对象推荐的方法,其特征在于,所述基于循环神经网络对各个所述候选对象的表征特征向量进行非线性变换,得到各个所述候选对象的增强特征向量,包括:
将各个所述候选对象的表征特征向量输入循环神经网络,基于各个所述候选对象的表征特征向量和上一个隐藏层的状态计算得到当前隐藏层状态,并将所述当前隐藏层状态输入所述循环神经网络的激活函数层,得到各个所述候选对象的增强特征向量;
所述基于所述循环神经网络对各个所述交互对象的表征特征向量进行非线性变换,获取各个所述交互对象的表征特征向量之间的时序依赖关系,得到各个所述交互对象的增强特征向量,包括:
将各个所述交互对象的表征特征向量基于用户的交互次序输入所述循环神经网络,基于各个所述交互对象的表征特征向量和上一个隐藏层的状态计算得到当前隐藏层状态,并将所述当前隐藏层状态输入所述循环神经网络的激活函数层,得到各个所述交互对象的增强特征向量。
5.根据权利要求1所述对象推荐的方法,其特征在于,所述基于所述用户的特征向量、各个所述候选对象的增强特征向量和各个所述交互对象的增强特征向量对各个所述候选对象进行概率预测,得到各个所述候选对象的预测概率,包括:
对所述用户的特征向量、各个所述候选对象的增强特征向量和各个所述交互对象的增强特征向量进行拼接处理,得到各个融合特征向量;
将各个融合特征向量输入第三多层感知机进行特征变换,以使得对各个所述候选对象进行概率预测处理,得到各个所述候选对象的预测概率。
6.根据权利要求1所述对象推荐的方法,其特征在于,所述通过预训练模型对所述候选对象特征数据集中各个候选对象特征数据进行多模态向量表征之前,还包括:
获取预训练模型的训练数据集,所述训练数据集中包含多个训练对象特征数据,各个所述训练对象特征数据是基于用户交互次序排列的;
选取所述训练数据集中任意一个训练对象特征数据作为第一对象特征数据,所述第一对象特征数据后次序的训练对象特征数据为第二对象特征数据,所述训练数据集中除去所述第一对象特征数据、所述第二对象特征数据均作为第三对象特征数据;选取所述第一对象特征数据、所述第二对象特征数据构建正样本对,选取所述第一对象特征数据、所述第三对象特征数据构建多个负样本对;
将所述正样本对、各个所述负样本对输入所述预训练模型,通过所述预训练模型对所述第一对象特征数据进行多模态向量表征,得到所述第一对象的表征特征向量,通过所述预训练模型对所述第二对象特征数据进行多模态向量表征,得到所述第二对象的表征特征向量,通过所述预训练模型对各个所述第三对象特征数据进行向量表征,得到各个所述第三对象的表征特征向量;
基于所述第一对象的表征特征向量、所述第二对象的表征特征向量以及各个所述第三对象的表征特征向量,得到信息噪声对比损失函数对应的损失值;并基于所述损失值更新所述预训练模型的参数,在所述损失值小于或等于预设值的情况下,得到训练完成的预训练模型。
7.根据权利要求6所述对象推荐的方法,其特征在于,所述基于所述第一对象的表征特征向量、所述第二对象的表征特征向量以及各个所述第三对象的表征特征向量,得到信息噪声对比损失函数对应的损失值,包括:
对所述第一对象的表征特征向量和所述第二对象的表征特征向量进行相乘,得到所述正样本的乘积;
对所述第一对象的表征特征向量分别和各个所述第三对象的表征特征向量进行相乘,得到各个所述负样本的乘积;
对各个所述负样本的乘积进行相加,得到所述负样本乘积和;
基于所述正样本的乘积和所述负样本乘积和,得到信息噪声对比损失函数对应的损失值。
8.一种对象推荐装置,其特征在于,包括:
获取模块,用于获取候选对象特征数据集、用户的交互对象特征数据集以及所述用户的特征数据;
多模态表征模块,用于通过预训练模型对所述候选对象特征数据集中各个候选对象特征数据进行多模态向量表征,得到各个所述候选对象的表征特征向量,以及通过所述预训练模型对所述交互对象特征数据集中各个交互对象特征数据进行多模态向量表征,得到各个所述交互对象的表征特征向量;
用户表征模块,用于对所述用户的特征数据进行向量嵌入,得到所述用户的初始特征向量,并对所述用户的初始特征向量进行交叉处理,得到所述用户的特征向量;
向量增强模块,用于基于循环神经网络对各个所述候选对象的表征特征向量进行非线性变换,得到各个所述候选对象的增强特征向量,以及基于所述循环神经网络对各个所述交互对象的表征特征向量进行非线性变换,获取各个所述交互对象的表征特征向量之间的时序依赖关系,得到各个所述交互对象的增强特征向量;
预测模块,用于基于所述用户的特征向量、各个所述候选对象的增强特征向量和各个所述交互对象的增强特征向量对各个所述候选对象进行概率预测,得到各个所述候选对象的预测概率;
推荐模块,用于基于各个所述候选对象的预测概率,选取向所述用户推荐的目标对象。
9.一种电子设备,包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序,其特征在于,所述处理器执行所述计算机程序时实现如权利要求1至7中任一项所述方法的步骤。
10.一种可读存储介质,所述可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
Priority Applications (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410104255.6A CN118013117A (zh) | 2024-01-24 | 2024-01-24 | 对象推荐方法、装置、电子设备及可读存储介质 |
Applications Claiming Priority (1)
Application Number | Priority Date | Filing Date | Title |
---|---|---|---|
CN202410104255.6A CN118013117A (zh) | 2024-01-24 | 2024-01-24 | 对象推荐方法、装置、电子设备及可读存储介质 |
Publications (1)
Publication Number | Publication Date |
---|---|
CN118013117A true CN118013117A (zh) | 2024-05-10 |
Family
ID=90953057
Family Applications (1)
Application Number | Title | Priority Date | Filing Date |
---|---|---|---|
CN202410104255.6A Pending CN118013117A (zh) | 2024-01-24 | 2024-01-24 | 对象推荐方法、装置、电子设备及可读存储介质 |
Country Status (1)
Country | Link |
---|---|
CN (1) | CN118013117A (zh) |
-
2024
- 2024-01-24 CN CN202410104255.6A patent/CN118013117A/zh active Pending
Similar Documents
Publication | Publication Date | Title |
---|---|---|
CN109492772B (zh) | 生成信息的方法和装置 | |
CN111966914B (zh) | 基于人工智能的内容推荐方法、装置和计算机设备 | |
CN111428010B (zh) | 人机智能问答的方法和装置 | |
CN110069709B (zh) | 意图识别方法、装置、计算机可读介质及电子设备 | |
CN111104599A (zh) | 用于输出信息的方法和装置 | |
CN116595066A (zh) | 数据挖掘方法、装置、终端设备及介质 | |
CN113032676B (zh) | 基于微反馈的推荐方法和系统 | |
CN116911953A (zh) | 物品推荐方法、装置、电子设备及计算机可读存储介质 | |
CN116956183A (zh) | 多媒体资源推荐方法、模型训练方法、装置及存储介质 | |
CN116401522A (zh) | 一种金融服务动态化推荐方法和装置 | |
CN113780318B (zh) | 用于生成提示信息的方法、装置、服务器和介质 | |
WO2020211616A1 (zh) | 用于处理用户交互信息的方法和装置 | |
CN118013117A (zh) | 对象推荐方法、装置、电子设备及可读存储介质 | |
CN113704596A (zh) | 用于生成召回信息集合的方法和装置 | |
CN113792952A (zh) | 用于生成模型的方法和装置 | |
CN115329183A (zh) | 数据处理方法、装置、存储介质及设备 | |
CN111753111A (zh) | 图片搜索方法和装置 | |
CN116911304B (zh) | 一种文本推荐方法及装置 | |
CN117745382A (zh) | 对象推荐方法和装置 | |
CN116911913B (zh) | 一种交互结果的预测方法及装置 | |
CN116911954B (zh) | 基于兴趣和流行度推荐物品的方法及装置 | |
CN118013296A (zh) | 在线客服匹配方法、装置、电子设备及可读存储介质 | |
CN116501993B (zh) | 房源数据推荐方法及装置 | |
CN116911912B (zh) | 一种交互对象和交互结果的预测方法及装置 | |
CN117951386A (zh) | 关键词推荐方法、装置、电子设备及可读存储介质 |
Legal Events
Date | Code | Title | Description |
---|---|---|---|
PB01 | Publication | ||
PB01 | Publication | ||
SE01 | Entry into force of request for substantive examination | ||
SE01 | Entry into force of request for substantive examination |