CN117493666A - 物品冷启动推荐方法和物品冷启动推荐模型训练方法 - Google Patents
物品冷启动推荐方法和物品冷启动推荐模型训练方法 Download PDFInfo
- Publication number
- CN117493666A CN117493666A CN202311438167.1A CN202311438167A CN117493666A CN 117493666 A CN117493666 A CN 117493666A CN 202311438167 A CN202311438167 A CN 202311438167A CN 117493666 A CN117493666 A CN 117493666A
- Authority
- CN
- China
- Prior art keywords
- article
- feature extraction
- network
- cold start
- identification
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Pending
Links
- 238000000034 method Methods 0.000 title claims abstract description 81
- 238000012549 training Methods 0.000 title claims abstract description 38
- 238000000605 extraction Methods 0.000 claims abstract description 134
- 238000007781 pre-processing Methods 0.000 claims abstract description 15
- 238000004590 computer program Methods 0.000 claims description 19
- 230000006870 function Effects 0.000 claims description 14
- 238000010276 construction Methods 0.000 claims description 4
- 235000002198 Annona diversifolia Nutrition 0.000 claims description 3
- 241000282842 Lama glama Species 0.000 claims description 3
- 230000008569 process Effects 0.000 description 18
- 238000010586 diagram Methods 0.000 description 8
- 230000000694 effects Effects 0.000 description 7
- 238000012545 processing Methods 0.000 description 5
- 238000011176 pooling Methods 0.000 description 4
- 239000000284 extract Substances 0.000 description 3
- 238000003058 natural language processing Methods 0.000 description 3
- 230000005540 biological transmission Effects 0.000 description 2
- 238000005516 engineering process Methods 0.000 description 2
- 238000001914 filtration Methods 0.000 description 2
- 230000003993 interaction Effects 0.000 description 2
- 230000002452 interceptive effect Effects 0.000 description 2
- 239000011159 matrix material Substances 0.000 description 2
- 230000004048 modification Effects 0.000 description 2
- 238000012986 modification Methods 0.000 description 2
- 230000003287 optical effect Effects 0.000 description 2
- 230000006399 behavior Effects 0.000 description 1
- 230000009286 beneficial effect Effects 0.000 description 1
- 210000004027 cell Anatomy 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 230000008859 change Effects 0.000 description 1
- 238000012512 characterization method Methods 0.000 description 1
- 238000013527 convolutional neural network Methods 0.000 description 1
- 238000005034 decoration Methods 0.000 description 1
- 230000003247 decreasing effect Effects 0.000 description 1
- 230000001419 dependent effect Effects 0.000 description 1
- 230000003203 everyday effect Effects 0.000 description 1
- 230000004927 fusion Effects 0.000 description 1
- 230000006872 improvement Effects 0.000 description 1
- 230000005012 migration Effects 0.000 description 1
- 238000013508 migration Methods 0.000 description 1
- 210000002569 neuron Anatomy 0.000 description 1
- 238000005457 optimization Methods 0.000 description 1
- 230000000750 progressive effect Effects 0.000 description 1
- 238000012163 sequencing technique Methods 0.000 description 1
- 230000003068 static effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
- G06F16/90—Details of database functions independent of the retrieved data types
- G06F16/95—Retrieval from the web
- G06F16/953—Querying, e.g. by the use of web search engines
- G06F16/9535—Search customisation based on user profiles and personalisation
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/213—Feature extraction, e.g. by transforming the feature space; Summarisation; Mappings, e.g. subspace methods
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06F—ELECTRIC DIGITAL DATA PROCESSING
- G06F18/00—Pattern recognition
- G06F18/20—Analysing
- G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
- G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
- G06N3/045—Combinations of networks
-
- Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
- Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
- Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
- Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Data Mining & Analysis (AREA)
- Physics & Mathematics (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Databases & Information Systems (AREA)
- Computer Vision & Pattern Recognition (AREA)
- Life Sciences & Earth Sciences (AREA)
- Artificial Intelligence (AREA)
- Evolutionary Computation (AREA)
- Evolutionary Biology (AREA)
- Bioinformatics & Computational Biology (AREA)
- Bioinformatics & Cheminformatics (AREA)
- Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- General Health & Medical Sciences (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本申请提供了一种物品冷启动推荐方法和物品冷启动推荐模型训练方法。该物品冷启动推荐方法包括：获取样本数据集；样本数据至少包括物品标识和物品属性数据；构建特征提取网络，特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；对物品属性数据进行预处理，获得物品属性数据文本序列，并将物品属性数据文本序列输入至物品属性特征提取子网络，获得物品属性嵌入向量；将物品标识序列输入至物品标识特征提取子网络，获得物品标识嵌入向量；依据物品属性嵌入向量和物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。本申请通过结合大语言模型用于捕捉物品之间序列关系，提高冷启动推荐准确性。
Description
技术领域
本申请涉及个性化推荐技术领域，尤其涉及一种物品冷启动推荐方法和物品冷启动推荐模型训练方法。
背景技术
在目标应用的业务场景下，特别是新业务在推广初期，每天会有新的业务内容需要进行上线展示，新业务推荐效果需要有效的冷启动方案。同时，目标应用的优化和功能完善也需要一个过程，有很多新的推荐场景需要逐步完善，新的推荐场景往往缺少用户场景的交互信息，导致新场景的推荐效果不好，也需要有效的冷启动方案。
因此，如何提升推荐的新物品或者长尾物品的推荐效果，是需要解决的技术问题。
发明内容
有鉴于此，本申请实施例提供了一种物品冷启动推荐方法和物品冷启动推荐模型训练方法以及相应的装置、电子设备、存储介质，以解决现有技术在物品冷启动推荐时准确度不高的问题。
本申请实施例的第一方面，提供了一种物品冷启动推荐方法，包括：
获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
本申请实施例的第二方面，提供了一种物品冷启动推荐模型训练方法，包括：
获取训练样本数据集；所述训练样本数据包括物品标识、物品属性数据、用户标识和用户属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络、物品标识特征提取子网络和用户特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
将所述用户标识和所述用户属性数据输入至用户特征提取子网络，获得用户特征嵌入向量；
将所述物品属性嵌入向量、所述物品标识嵌入向量和所述用户特征嵌入向量输入至待训练的物品冷启动推荐模型，获得物品冷启动推荐结果；
依据所述物品冷启动推荐结果，确定目标损失函数迭代更新所述冷启动推荐模型和所述特征提取网络的模型参数，直至达到预设的迭代终止条件。
本申请实施例的第三方面，提供了一种物品冷启动推荐装置，包括：
样本数据获取模块，被配置为获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
特征提取网络构建模块，被配置为构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
物品属性嵌入向量获取模块，被配置为对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
物品标识嵌入向量获取模块，被配置为将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
物品冷启动推荐结果获取模块，被配置为依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
本申请实施例的第四方面，提供了一种电子设备，包括存储器、处理器以及存储在存储器中并且可在处理器上运行的计算机程序，该处理器执行计算机程序时实现第一方面或者第二方面所述方法的步骤。
本申请实施例的第五方面，提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，该计算机程序被处理器执行时实现第一方面或者第二方面所述方法的步骤。
本申请实施例与现有技术相比存在的有益效果至少包括：本申请实施例通过获取样本数据集；样本数据至少包括物品标识和物品属性数据；构建特征提取网络，特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；对物品属性数据进行预处理，获得物品属性数据文本序列，并将物品属性数据文本序列输入至物品属性特征提取子网络，获得物品属性嵌入向量；将物品标识序列输入至物品标识特征提取子网络，获得物品标识嵌入向量；依据物品属性嵌入向量和物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。本申请该框架将自然语言处理和推荐系统相结合，能够处理不同类型的文本物品信息，有效地学习语言表示用于推荐，通过捕捉物品之间的序列关系，从而提高物品冷启动推荐准确性。
附图说明
为了更清楚地说明本申请实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其它的附图。
图1是本申请实施例提供的物品冷启动推荐方法的流程示意图之一；
图2是本申请实施例提供的特征提取网络结构示意图；
图3是本申请实施例提供的物品冷启动推荐方法的流程示意图之二；
图4是本申请实施例提供的获得物品属性数据文本序列的过程示意图；
图5是本申请实施例提供的物品冷启动推荐方法的流程示意图之三；
图6是本申请实施例提供的物品冷启动推荐模型训练方法的流程示意图；
图7是本申请实施例提供的物品冷启动推荐装置的结构示意图；
图8是本申请实施例提供的物品冷启动推荐模型训练装置的结构示意图；
图9是本申请实施例提供的一种电子设备的结构示意图。
具体实施方式
以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本申请实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本申请。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本申请的描述。
下面将结合附图详细说明根据本申请实施例的一种物品冷启动推荐方法和物品冷启动推荐模型训练方法以及相应的装置、电子设备、存储介质。
如背景技术所述，目标推荐应用能帮助用户及时获取最具有价值的内容，目标推荐应用的推荐结果越精确和高效，用户体验也会越好，用户对目标推荐应用评价就会越高。通常在序列推荐任务中，常用的是CNN-base模型这是一种基于卷积神经网络的序列推荐模型，其主要过程如下：(1)输入表示，即将输入的序列(如文本、音乐、视频等)表示成一个矩阵，其中每行表示一个时间步，每列表示一个特征。(2)卷积层，即通过一系列的卷积层来提取输入序列的局部特征，每个卷积层由多个卷积核组成，每个卷积核会对输入矩阵中的一部分进行卷积操作，提取出该部分的局部特征。卷积操作可以通过滑动窗口实现。(3)池化层，即在卷积层之后，使用池化层来进一步提取输入序列的特征。池化层通常采用最大池化或平均池化的方式，从每个卷积核的输出中选择最大值或平均值作为该卷积核的输出。(4)展开层，即将池化层的输出展开成一维向量，作为全连接层的输入。(5)全连接层，即在全连接层中，可以使用多个全连接层来提高模型的表示能力，每个全连接层都可以包含多个神经元。全连接层可以实现输入序列的特征组合和分类。(6)输出层，即输出层根据具体的任务要求而定，比如在文本推荐任务中，可以使用softmax层来输出每个词的概率，选择概率最高的词作为推荐结果。通过以上过程，CNN-base序列推荐模型可以学习到输入序列的局部和全局特征，并能够有效地处理不同长度的序列。在训练时，可以使用反向传播算法来更新模型参数，使得模型能够更好地适应训练数据。在预测时，可以将输入序列送入模型中，根据模型的输出进行推荐。
然而，由于目标推荐应用中存在着数量庞大的新用户或新物品，这些新用户和新物品所包含的数据不够充分，例如新用户的基础信息较少时，那么就很难立即确定符合或者与其兴趣爱好相似的物品进行推荐，也即存在推荐冷启动问题。尤其是在目标推荐应用的上线时间比较短，且推广处于初期，有很多的新用户，对于新用户线上行为稀疏、偏好信息不足等问题，训练数据少，容易被老用户带偏，导致新用户的推荐效果不达预期。
冷启动问题的本质是要解决推荐中的数据缺失问题。冷启动问题根据可用数据缺乏情况可以总结概括为三种情况：用户冷启动、物品冷启动、系统冷启动。无论什么应用领域，推荐系统普遍存在冷启动问题，这是每一个推荐系统必须要解决的难题，举个例子，当推荐系统使用的是协同过滤推荐算法时，根据协同过滤算法的特性，系统会面临冷启动问题。当前解决冷启动问题成效较好的有混合推荐、基于用户兴趣、融合其他数据源等方式。
但是在实际应用场景中发现，目标应用的新业务在推广初期会有新物品进行推荐展示，新物品的推荐效果需要有效的冷启动方案；同时，目标应用的优化和功能完善也需要一个过程，有很多新的推荐场景需要逐步完善，新的推荐场景往往缺少用户场景的交互信息，导致新场景的推荐效果不好。
基于以上问题，本申请提出了一种物品冷启动推荐方案，将物品属性信息通过键值对拉平，实现物品元属性在推荐场景中的有效信息迁移，从而提升新物品或者长尾物品的推荐效果。本申请的核心思想旨在将用户偏好和物品特征作为语言表征来建模，有效解决物品在新场景中的冷启动问题。通过语言理解和序列推荐的联合训练，利用语言模型的通用性执行推荐任务，即通过将物品表示为“句子”，并训练模型理解“句子”序列，生成物品属性向量然后和基于物品标识训练出来的向量有效结合，解决长尾物品或者物品在新场景的冷启动问题。
如图1所示，为本申请的一种物品冷启动推荐方法流程图。上述方法包括：
S101：获取样本数据集；所述样本数据至少包括物品标识和物品属性数据。
S102：构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络。
S103：对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量。
S104：将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量。
S105：依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
本实施例以房源作为物品的一个例子进行说明。具体地，房源属性数据包括基本信息例如小区位置、面积、朝向、楼层、总楼层等；房源质量例如新旧程度、装修水平、设施完善度等；房源供需例如上架时间、浏览量、关注度、成交率等。
在一些实施例中，所述物品属性特征提取子网络基于大语言模型进行构建；所述大语言模型包括LLaMA模型。
具体地，如图2所示为所述特征提取网络，整体分为两个部分。一部分为基于语言模型生成房源属性嵌入向量的物品属性特征提取子网络，另一部分是基于用户浏览交互序列生成房源标识嵌入向量的物品标识特征提取子网络。
具体地，对于物品属性特征提取子网络，在推荐系统中，物品冷启动主要是曝光不足的长尾物品，以及物品进入新场景，没有足够的用户与之交互。传统的推荐主要以曝光日志进行物品向量的训练，从而进行在线的推荐，这样会导致有些物品的向量训练不充分，推荐系统的在线性能表现远低于预期。鉴了大语言模型，例如FACEBOOK开源的大语言模型LLaMA，在自然语言处理方面的超强能力，将房源属性展开为一个有意义的文本序列，然后通过大模型微调，产出一个房源属性的向量。
具体地，物品标识特征提取子网络，借鉴了深度兴趣网络DIN，从用户浏览的房源标识序列中抽取出房源直接的关系，最后抽象为一个房源标识的入向量。但是与DIN不同，本申请实施例没有添加房源属性中的标识，因为在冷启动场景下，添加其他属性标识会造成模型整体欠拟合。这部分涉及到房源属性则由物品属性特征提取子网络获得的物品属性嵌入向量予以补充。
在一些实施例中，对所述物品属性数据进行预处理，获得物品属性数据文本序列，如图3所示，包括：
S311：将物品属性数据的键值对表示方式转换为键值交替表示方式。
S312：基于键值交替表示方式，生成所述物品属性数据文本序列。
具体地，将房源属性信息通过键值对拉平的方式进行表示，将原来的键值多特征方式转为一串键和值交替出现的文本序列，通过扁平化文本描述的房源键值属性，将房源看做是一个“句子”，从而使房源属性成为一个文本序列。具体操作如下图4所示为一个房源属性进行展开，变为一个文本序列。需要说明的是，该过程只考虑到了房源属性信息，没有考虑房源标识信息。需要说明的是，图4中的房源属性数据仅为实例，并不代表具体的技术特征限定。
在一些实施例中，依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得所述物品冷启动推荐结果，如图5所示，包括：
S511：获得所述物品属性嵌入向量和所述物品标识嵌入向量的注意力增强嵌入向量。
S512：将所述注意力增强嵌入向量输入至所述物品冷启动推荐模型，获得所述物品冷启动推荐结果。
在一些实施例中，所述物品冷启动推荐模型基于点击率预估模型进行构建。
如图6所示，为本申请的一种物品冷启动推荐模型训练方法，包括：
S601：获取训练样本数据集；所述训练样本数据包括物品标识、物品属性数据、用户标识和用户属性数据。
S602：构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络、物品标识特征提取子网络和用户特征提取子网络。
S603：对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量。
S604：将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量。
S605：将所述用户标识和所述用户属性数据输入至用户特征提取子网络，获得用户特征嵌入向量。
S606：将所述物品属性嵌入向量、所述物品标识嵌入向量和所述用户特征嵌入向量输入至待训练的物品冷启动推荐模型，获得物品冷启动推荐结果。
S607：依据所述物品冷启动推荐结果，确定目标损失函数迭代更新所述冷启动推荐模型和所述特征提取网络的模型参数，直至达到预设的迭代终止条件。
在一些实施例中，所述物品属性特征提取子网络基于大语言模型进行构建。
在一些实施例中，所述物品冷启动推荐模型基于点击率预估模型进行构建。
具体地，在模型训练过程中，根据品属性特征提取子网络提供的物品属性嵌入向量以及物品标识特征提取子网络提供的物品标识嵌入向量，再结合用户特征提取子网络提供的用户特征嵌入向量，训练一个端到端的点击率预测模型，最后获得推荐该房源给用户的概率，根据概率值进行排序，获得用户感兴趣的可能性。同时，模型会实时接受用户的反馈，进行在线学习，在参数反向传播的过程中，大语言模型和推荐框架中的参数都会进行微调，使得模型的训练更加准确。
本申请实施例通过获取样本数据集；样本数据至少包括物品标识和物品属性数据；构建特征提取网络，特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；对物品属性数据进行预处理，获得物品属性数据文本序列，并将物品属性数据文本序列输入至物品属性特征提取子网络，获得物品属性嵌入向量；将物品标识序列输入至物品标识特征提取子网络，获得物品标识嵌入向量；依据物品属性嵌入向量和物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。本申请该框架将自然语言处理和推荐系统相结合，能够处理不同类型的文本物品信息，有效地学习语言表示用于推荐，通过捕捉物品之间的序列关系，从而提高物品冷启动推荐准确性。
上述所有可选技术方案，可以采用任意结合形成本申请的可选实施例，在此不再一一赘述。
下述为本申请装置实施例，可以用于执行本申请方法实施例。对于本申请系统实施例中未披露的细节，请参照本申请方法实施例。
图7是本申请实施例提供的一种物品冷启动推荐装置的示意图。如图7所示，该物品冷启动推荐装置包括：
样本数据获取模块701，被配置为获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
特征提取网络构建模块702，被配置为构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
物品属性嵌入向量获取模块703，被配置为对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
物品标识嵌入向量获取模块704，被配置为将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
物品冷启动推荐结果获取模块705，被配置为依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
应理解，本说明书实施例的一种物品冷启动推荐装置还可执行图1至图5中物品冷启动推荐装置执行的方法，并实现物品冷启动推荐装置在图1至图5所示实例的功能，在此不再赘述。同时，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图8是本申请实施例提供的一种物品冷启动推荐模型训练装置的示意图。
如图8所示，该物品冷启动推荐模型训练装置包括：
训练样本数据集获取模块801，被配置为获取训练样本数据集；所述训练样本数据包括物品标识、物品属性数据、用户标识和用户属性数据；
特征提取网络构建模块802，被配置为构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络、物品标识特征提取子网络和用户特征提取子网络；
物品属性嵌入向量获取模块803，被配置为对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
物品标识嵌入向量获取模块804，被配置为将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
用户特征嵌入向量获取模块805，被配置为将所述用户标识和所述用户属性数据输入至用户特征提取子网络，获得用户特征嵌入向量；
物品冷启动推荐结果获取模块806，被配置为将所述物品属性嵌入向量、所述物品标识嵌入向量和所述用户特征嵌入向量输入至待训练的物品冷启动推荐模型，获得物品冷启动推荐结果；
模型训练模块807，被配置为依据所述物品冷启动推荐结果，确定目标损失函数迭代更新所述冷启动推荐模型和所述特征提取网络的模型参数，直至达到预设的迭代终止条件。
应理解，本说明书实施例的一种物品冷启动推荐模型训练装置还可执行图6中物品冷启动推荐模型训练装置执行的方法，并实现物品冷启动推荐模型训练装置在图6所示实例的功能，在此不再赘述。同时，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本申请实施例的实施过程构成任何限定。
图9是本申请实施例提供的电子设备9的示意图。如图9所示，该实施例的电子设备9包括：处理器901、存储器902以及存储在该存储器902中并且可在处理器901上运行的计算机程序903。处理器901执行计算机程序903时实现上述各个方法实施例中的步骤。或者，处理器901执行计算机程序903时实现上述各装置实施例中各模块/单元的功能。
电子设备9可以是桌上型计算机、笔记本、掌上电脑及云端服务器等电子设备。电子设备9可以包括但不仅限于处理器901和存储器902。本领域技术人员可以理解，图9仅仅是电子设备9的示例，并不构成对电子设备9的限定，可以包括比图示更多或更少的部件，或者不同的部件。
存储器902可以是电子设备9的内部存储单元，例如，电子设备9的硬盘或内存。存储器902也可以是电子设备9的外部存储设备，例如，电子设备9上配备的插接式硬盘，智能存储卡(Smart Media Card，SMC)，安全数字(Secure Digital，SD)卡，闪存卡(Flash Card)等。存储器902还可以既包括电子设备9的内部存储单元也包括外部存储设备。存储器902用于存储计算机程序以及电子设备所需的其它程序和数据。
处理器901可以是中央处理单元(Central Processing Unit，CPU)，也可以是其它通用处理器、数字信号处理器(Digital Signal Processor，DSP)、专用集成电路(Application Specific Integrated Circuit，ASIC)、现场可编程门阵列(Field-Programmable Gate Array，FPGA)或者其它可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。处理器901从非易失性存储器中读取对应的计算机程序到内存中然后运行，在逻辑层面上形成共享资源访问控制装置。处理器，执行存储器所存放的程序，并具体用于执行以下操作：
获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
或者，
获取训练样本数据集；所述训练样本数据包括物品标识、物品属性数据、用户标识和用户属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络、物品标识特征提取子网络和用户特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
将所述用户标识和所述用户属性数据输入至用户特征提取子网络，获得用户特征嵌入向量；
将所述物品属性嵌入向量、所述物品标识嵌入向量和所述用户特征嵌入向量输入至待训练的物品冷启动推荐模型，获得物品冷启动推荐结果；
依据所述物品冷启动推荐结果，确定目标损失函数迭代更新所述冷启动推荐模型和所述特征提取网络的模型参数，直至达到预设的迭代终止条件。
上述如本说明书图1至图5所示实施例的方法或者图6所示实施例的方法可以应用于处理器901中，或者由处理器901实现。处理器901可能是一种集成电路芯片，具有信号的处理能力。在实现过程中，上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以实现或者执行本说明书实施例中公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本说明书实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成，或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器，闪存、只读存储器，可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器，处理器读取存储器中的信息，结合其硬件完成上述方法的步骤。
当然，除了软件实现方式之外，本说明书实施例的电子设备并不排除其他实现方式，比如逻辑器件抑或软硬件结合的方式等等，也就是说以下处理流程的执行主体并不限定于各个逻辑单元，也可以是硬件或逻辑器件。
所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读存储介质中。基于这样的理解，本申请实现上述实施例方法中的全部或部分流程，也可以通过计算机程序来指令相关的硬件来完成，计算机程序可以存储在计算机可读存储介质中，该计算机程序在被处理器执行时，可以实现上述各个方法实施例的步骤。计算机程序可以包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、U盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(Read-Only Memory，ROM)、随机存取存储器(Random Access Memory，RAM)、电载波信号、电信信号以及软件分发介质等。需要说明的是，计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如，在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括电载波信号和电信信号。
本说明书实施例还提出了一种计算机可读存储介质，该计算机可读存储介质存储一个或多个程序，该一个或多个程序包括指令，该指令当被包括多个应用程序的便携式电子设备执行时，能够使该便携式电子设备执行图1至图5所示实施例的方法或者图6所示实施例的方法，并具体用于执行以下方法：
获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
或者，
获取训练样本数据集；所述训练样本数据包括物品标识、物品属性数据、用户标识和用户属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络、物品标识特征提取子网络和用户特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
将所述用户标识和所述用户属性数据输入至用户特征提取子网络，获得用户特征嵌入向量；
将所述物品属性嵌入向量、所述物品标识嵌入向量和所述用户特征嵌入向量输入至待训练的物品冷启动推荐模型，获得物品冷启动推荐结果；
依据所述物品冷启动推荐结果，确定目标损失函数迭代更新所述冷启动推荐模型和所述特征提取网络的模型参数，直至达到预设的迭代终止条件。
总之，以上该仅为本说明书的较佳实施例而已，并非用于限定本说明书的保护范围。凡在本说明书的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本说明书的保护范围之内。
上述实施例阐明的系统、装置、模块或单元，具体可以由计算机芯片或实体实现，或者由具有某种功能的产品来实现。一种典型的实现设备为计算机。具体的，计算机例如可以为个人计算机、膝上型计算机、蜂窝电话、相机电话、智能电话、个人数字助理、媒体播放器、导航设备、电子邮件设备、游戏控制台、平板计算机、可穿戴设备或者这些设备中的任何设备的组合。
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括该要素的过程、方法、商品或者设备中还存在另外的相同要素。
本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于系统实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
以上实施例仅用以说明本申请的技术方案，而非对其限制；尽管参照前述实施例对本申请进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本申请各实施例技术方案的精神和范围，均应包含在本申请的保护范围之内。
Claims (10)
1.一种物品冷启动推荐方法，其特征在于，包括：
获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
2.根据权利要求1所述的方法，其特征在于，所述物品属性特征提取子网络基于大语言模型进行构建；所述大语言模型包括LLaMA模型。
3.根据权利要求2所述的方法，其特征在于，对所述物品属性数据进行预处理，获得物品属性数据文本序列，包括：
将物品属性数据的键值对表示方式转换为键值交替表示方式；
基于键值交替表示方式，生成所述物品属性数据文本序列。
4.根据权利要求1所述的方法，其特征在于，依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得所述物品冷启动推荐结果，包括：
获得所述物品属性嵌入向量和所述物品标识嵌入向量的注意力增强嵌入向量；
将所述注意力增强嵌入向量输入至所述物品冷启动推荐模型，获得所述物品冷启动推荐结果。
5.根据权利要求4所述的方法，其特征在于，所述物品冷启动推荐模型基于点击率预估模型进行构建。
6.一种物品冷启动推荐模型训练方法，其特征在于，包括：
获取训练样本数据集；所述训练样本数据包括物品标识、物品属性数据、用户标识和用户属性数据；
构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络、物品标识特征提取子网络和用户特征提取子网络；
对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
将所述用户标识和所述用户属性数据输入至用户特征提取子网络，获得用户特征嵌入向量；
将所述物品属性嵌入向量、所述物品标识嵌入向量和所述用户特征嵌入向量输入至待训练的物品冷启动推荐模型，获得物品冷启动推荐结果；
依据所述物品冷启动推荐结果，确定目标损失函数迭代更新所述冷启动推荐模型和所述特征提取网络的模型参数，直至达到预设的迭代终止条件。
7.根据权利要求6所述的方法，其特征在于，所述物品属性特征提取子网络基于大语言模型进行构建；和/或，所述物品冷启动推荐模型基于点击率预估模型进行构建。
8.一种物品冷启动推荐装置，其特征在于，包括：
样本数据获取模块，被配置为获取样本数据集；所述样本数据至少包括物品标识和物品属性数据；
特征提取网络构建模块，被配置为构建特征提取网络，所述特征提取网络包括物品属性特征提取子网络和物品标识特征提取子网络；
物品属性嵌入向量获取模块，被配置为对所述物品属性数据进行预处理，获得物品属性数据文本序列，并将所述物品属性数据文本序列输入至所述物品属性特征提取子网络，获得物品属性嵌入向量；
物品标识嵌入向量获取模块，被配置为将物品标识序列输入至所述物品标识特征提取子网络，获得物品标识嵌入向量；
物品冷启动推荐结果获取模块，被配置为依据所述物品属性嵌入向量和所述物品标识嵌入向量，利用物品冷启动推荐模型，获得物品冷启动推荐结果。
9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并且可在所述处理器上运行的计算机程序，其特征在于，所述处理器在执行所述计算机程序时，实现如权利要求1至5中任一项所述方法或者权利要求6至7任一项所述方法的步骤。
10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至5中任一项所述方法或者权利要求6至7任一项所述方法的步骤。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311438167.1A CN117493666A (zh) | 2023-10-31 | 2023-10-31 | 物品冷启动推荐方法和物品冷启动推荐模型训练方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202311438167.1A CN117493666A (zh) | 2023-10-31 | 2023-10-31 | 物品冷启动推荐方法和物品冷启动推荐模型训练方法 |
Publications (1)
| Publication Number | Publication Date |
|---|---|
| CN117493666A true CN117493666A (zh) | 2024-02-02 |
Family
ID=89675632
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202311438167.1A Pending CN117493666A (zh) | 2023-10-31 | 2023-10-31 | 物品冷启动推荐方法和物品冷启动推荐模型训练方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN117493666A (zh) |
-
2023
- 2023-10-31 CN CN202311438167.1A patent/CN117493666A/zh active Pending
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| KR102155261B1 (ko) | 광역 및 심층 기계 학습 모델들 | |
| CN107330715B (zh) | 选择图片广告素材的方法和装置 | |
| WO2022041982A1 (zh) | 数据推荐方法、装置、计算机设备以及存储介质 | |
| CN114036398B (zh) | 内容推荐和排序模型训练方法、装置、设备以及存储介质 | |
| CN111831855B (zh) | 用于匹配视频的方法、装置、电子设备和介质 | |
| CN112182281B (zh) | 一种音频推荐方法、装置及存储介质 | |
| US10579752B2 (en) | Generating a model based on input | |
| CN116541608B (zh) | 房源推荐方法、装置、电子设备及存储介质 | |
| CN113836390A (zh) | 资源推荐方法、装置、计算机设备及存储介质 | |
| CN117493666A (zh) | 物品冷启动推荐方法和物品冷启动推荐模型训练方法 | |
| US11256736B2 (en) | Personalized image recognition | |
| CN114860967A (zh) | 一种模型训练的方法、信息推荐的方法以及装置 | |
| CN111915339A (zh) | 数据的处理方法、装置及设备 | |
| CN117786234B (zh) | 一种基于两阶段对比学习的多模态资源推荐方法 | |
| CN116911954B (zh) | 基于兴趣和流行度推荐物品的方法及装置 | |
| CN111626805B (zh) | 信息展示方法和装置 | |
| CN116777529B (zh) | 一种对象推荐的方法、装置、设备、存储介质及程序产品 | |
| CN117540080A (zh) | 一种强化新用户特征的物品冷启动推荐方法和装置 | |
| CN117473157A (zh) | 一种基于个性化提示学习的序列推荐方法和装置 | |
| CN117541344A (zh) | 一种基于对比学习增强的房源推荐方法和装置 | |
| CN116861071A (zh) | 资讯推送方法、装置、计算机设备、存储介质和程序产品 | |
| CN117216538A (zh) | 内容发布模型训练方法、内容发布方法、装置及电子设备 | |
| CN117743673A (zh) | 资源召回方法 | |
| CN117893279A (zh) | 一种对象推荐的方法和装置 | |
| CN117634576A (zh) | 排序模型的训练的方法、搜索方法、装置及其设备 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination |