CN117009650A - 一种推荐方法以及装置 - Google Patents

一种推荐方法以及装置 Download PDF

Info

Publication number
CN117009650A
CN117009650A CN202310809705.7A CN202310809705A CN117009650A CN 117009650 A CN117009650 A CN 117009650A CN 202310809705 A CN202310809705 A CN 202310809705A CN 117009650 A CN117009650 A CN 117009650A
Authority
CN
China
Prior art keywords
user
category
language model
level
keywords
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN202310809705.7A
Other languages
English (en)
Inventor
武楚涵
李向阳
刘勇
董振华
唐睿明
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Huawei Technologies Co Ltd
Original Assignee
Huawei Technologies Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Huawei Technologies Co Ltd filed Critical Huawei Technologies Co Ltd
Priority to CN202310809705.7A priority Critical patent/CN117009650A/zh
Publication of CN117009650A publication Critical patent/CN117009650A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/042—Knowledge-based neural networks; Logical representations of neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/096—Transfer learning

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Computing Systems (AREA)
  • Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Databases & Information Systems (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本申请提供人工智能领域的一种推荐方法以及装置，用于基于语言模型进行召回、推荐等，从而实现利用语言模型的自动化推荐，泛化能力强。该方法包括：首先，获取用户特征集合，该用户特征集合中可以包括描述用户画像的文本或者关键词；通过语言模型基于用户特征集合生成召回路径，召回路径表示针对用户进行推荐的路径，其中，语言模型用于对输入的数据进行分类并为每个类别生成对应的权重，并根据每个类别生成对应的权重生成召回路径；随后，通过语言模型基于召回路径生成针对用户的推荐列表。

Description

一种推荐方法以及装置
技术领域
本申请涉及推荐领域，尤其涉及一种推荐方法以及装置。
背景技术
推荐系统是当前许多互联网应用的核心技术之一。例如，在应用商店场景中，推荐系统为用户推荐用户感兴趣的应用(application，App)。在广告推荐场景中，推荐系统为用户推荐用户可能喜欢的广告信息。
在推荐系统中，通常可以使用语言模型来筛选出推荐结果，并对推荐结果进行排序和总结，从而生成方便用户阅读浏览的推荐列表。然而，一些推荐场景中，语言模型，尤其是大语言模型，因其规模较大难以快速进行大规模推理。且针对新的或者位置的item库，需重新设计推荐系统。因此，如何实现泛化能力更强的应用语言模型的推荐系统，成为亟待解决的问题。
发明内容
本申请提供一种推荐方法以及装置，用于基于语言模型进行召回、推荐等，从而实现利用语言模型的自动化推荐，泛化能力强。
有鉴于此，第一方面，本申请提供一种推荐方法，包括：首先，获取用户特征集合，该用户特征集合中可以包括描述用户画像的文本或者关键词；通过语言模型基于用户特征集合生成召回路径，召回路径表示针对用户进行推荐的路径，其中，语言模型用于对输入的数据进行分类并为每个类别生成对应的权重，并根据每个类别生成对应的权重生成召回路径；随后，通过语言模型基于召回路径生成针对用户的推荐列表。
本申请提供了基于语言模型的推荐方法，语言模型可以对输入文本进行识别、分类、排序或者总结等，本申请可以通过语言模型来实现推荐系统中的各个流程，因此即使针对大item库的场景或者针对多种推荐场景，也可以通过本申请提供的方法来实现针对用户的推荐，泛化能力非常强。
一种可能的实施方式中，前述的用户特征集合中包括的关键词可以分为至少一个类别，可以是通过语言模型进行分类得到，也可以是通过其他规则进行分类；前述的通过语言模型基于用户特征集合生成召回路径，可以包括：将至少一个类别中的第一级类别的关键词作为语言模型的输入，确定每个第一级类别的关键词对应的权重值；根据每个第一级类别的关键词对应的权重值，确定每个第一级类别中的至少一个第二级类别的关键词，得到召回路径，第一级类别和第二级类别为用户特征集合的关键词的类别中的任意两级相邻类别。
本申请实施方式中，以第一级类别和第二级类别为例，可以使用语言模型来确定每个第一级类别对应的权重，从而基于每个第一级类别的权重来选择待推荐的第一级类别，如可以选择权重最高的一个或多个第一级类别，并确定该权重最高的一个或多个第一级类别下的一个或多个第二级类别，从而生成召回路径，实现基于语言模型的针对用户的推荐。
一种可能的实施方式中，前述的发热根据每个第一级类别的关键词对应的权重值，确定每个第一级类别中的至少一个第二级类别的关键词，得到召回路径，可以包括：根据每个第一级类别的关键词对应的权重值，确定K个第一级类别；通过语言模型确定K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，K为正整数；根据K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，确定Q个第二级类别，Q为正整数；根据K个第一级类别和Q个第二级类别包括的关键词确定召回路径。
本申请实施方式中，可以使用语言模型来确定用户特征中的关键词所属类别对应的权重，从而使用语言模型来输出用户针对各个类别的感兴趣程度，从而可以生成用户更感兴趣的推荐路径，即召回路径，从而提高用户体验。
一种可能的实施方式中，前述的通过语言模型基于召回路径生成针对用户的推荐列表，可以包括：获取召回路径下的最后一级类别的关键词对应的推荐数据；通过所述语言模型对推荐数据进行排序，生成针对用户的推荐列表。
本申请实施方式中，在确定召回路径后，可以基于召回路径来提取需推荐的数据，并通过语言模型进行排序，从而生成针对用户的推荐列表并进行推荐，提高用户体验。
一种可能的实施方式中，前述的获取用户特征集合，可以包括：获取用户的描述信息，描述信息包括描述用户的多个关键词；通过语言模型基于描述信息生成用户特征集合，其中，语言模型用于从描述信息中对用户的关键词进行分类，并根据分类结果得到用户特征集合。
本申请实施方式中，在得到用户的描述信息后，如可以包括用户信息或者用户的历史输入数据等，可以使用语言模型来对用户的关键词进行分类，从而确定用户感兴趣的各个类别的关键词。
一种可能的实施方式中，前述的获取用户的描述信息，可以包括：获取用户的原始数据，原始数据包括文本、语音或者图像中的一种或多种；从原始数据中提取关键词，得到描述信息。因此，本申请实施方式中，可以从文本、语音或者图像等多种方式来采集用户信息，从而可以得到更丰富的用户信息。
一种可能的实施方式中，前述的语言模型的输入包括预先设定的格式。通常，语言模型可以用于对输入的文本进行识别并处理，因此可以预先设定语言模型的输入格式，因此即使在不同的场景中，也可以按照预先设定的格式进行输入，从而具有较强的泛化能力。
第二方面，本申请提供一种推荐装置，包括：
获取模块，用于获取用户特征集合，用户特征集合中包括描述用户画像的文本；
处理模块，用于通过语言模型基于用户特征集合生成召回路径，召回路径表示针对用户进行推荐的路径，其中，语言模型用于对输入的数据进行分类并为每个类别生成对应的权重，并根据每个类别生成对应的权重生成召回路径；
处理模块，还用于通过语言模型基于召回路径生成针对用户的推荐列表。
其中，第二方面以及第二方面任一可选实施方式的描述，以下不再赘述。
一种可能的实施方式中，前述的用户特征集合中包括的关键词分为至少一个类别，处理模块，用于：
将至少一个类别中的第一级类别的关键词作为语言模型的输入，确定每个第一级类别的关键词对应的权重值；
根据每个第一级类别的关键词对应的权重值，确定每个第一级类别中的至少一个第二级类别的关键词，得到召回路径，第一级类别和第二级类别为用户特征集合的关键词的类别中的任意两级相邻类别。
一种可能的实施方式中，处理模块，用于：根据每个第一级类别的关键词对应的权重值，确定K个第一级类别；通过语言模型确定K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，K为正整数；根据K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，确定Q个第二级类别，Q为正整数；根据K个第一级类别和Q个第二级类别包括的关键词确定召回路径。
一种可能的实施方式中，处理模块，用于：获取召回路径下的最后一级类别的关键词对应的推荐数据；对推荐数据进行排序，生成针对用户的推荐列表。
一种可能的实施方式中，获取模块，用于：获取用户的描述信息，描述信息包括描述用户的多个关键词；通过语言模型基于描述信息生成用户特征集合，其中，语言模型用于从描述信息中对用户的关键词进行分类，并根据分类结果得到用户特征集合。
一种可能的实施方式中，获取模块，用于：获取用户的原始数据，原始数据包括文本、语音或者图像中的一种或多种；从原始数据中提取关键词，得到描述信息。
一种可能的实施方式中，语言模型的输入包括预先设定的格式。
第三方面，本申请实施例提供一种推荐装置，包括：处理器和存储器，其中，处理器和存储器通过线路互联，处理器调用存储器中的程序代码用于执行上述第一方面任一项所示的推荐方法中与处理相关的功能。可选地，该推荐装置可以是芯片。
第四方面，本申请实施例提供了一种数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行如上述第一方面或第二方面中任一可选实施方式中与处理相关的功能。
第五方面，本申请实施例提供了一种计算机可读存储介质，包括指令，当其在计算机上运行时，使得计算机执行上述第一方面或第一方面中任一可选实施方式中的方法。
第六方面，本申请实施例提供了一种包含计算机程序/指令的计算机程序产品，当其被处理器执行时，使得处理器执行上述第一方面或第一方面中的任一可选实施方式中的方法。
附图说明
图1为本申请提供的系统架构示意图；
图2为本申请提供的一种系统架构的结构示意图；
图3为本申请提供的另一种系统架构的结构示意图；
图4为本申请提供的一种推荐系统的结构示意图；
图5为本申请提供的另一种推荐系统的结构示意图；
图6为本申请提供的一种推荐方法的流程示意图；
图7为本申请提供的另一种推荐方法的流程示意图；
图8为本申请提供的一种应用场景示意图；
图9为本申请提供的一种应用场景示意图；
图10为本申请提供的另一种应用场景示意图；
图11为本申请提供的一种推荐装置的结构示意图；
图12为本申请提供的另一种推荐装置的结构示意图；
图13为本申请提供的一种芯片的结构示意图。
具体实施方式
下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。
本申请提供的推荐方法可以应用于人工智能(artificial intelligence,AI)场景中。AI是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。换句话说，人工智能是计算机科学的一个分支，它企图了解智能的实质，并生产出一种新的能以人类智能相似的方式作出反应的智能机器。人工智能也就是研究各种智能机器的设计原理与实现方法，使机器具有感知、推理与决策的功能。人工智能领域的研究包括机器人，自然语言处理，计算机视觉，决策与推理，人机交互，推荐与搜索，AI基础理论等。
首先对人工智能系统总体工作流程进行描述，请参见图1，图1示出的为人工智能主体框架的一种结构示意图，下面从“智能信息链”(水平轴)和“IT价值链”(垂直轴)两个维度对上述人工智能主题框架进行阐述。其中，“智能信息链”反映从数据的获取到处理的一列过程。举例来说，可以是智能信息感知、智能信息表示与形成、智能推理、智能决策、智能执行与输出的一般过程。在这个过程中，数据经历了“数据—信息—知识—智慧”的凝练过程。“IT价值链”从人智能的底层基础设施、信息(提供和处理技术实现)到系统的产业生态过程，反映人工智能为信息技术产业带来的价值。
(1)基础设施
基础设施为人工智能系统提供计算能力支持，实现与外部世界的沟通，并通过基础平台实现支撑。通过传感器与外部沟通；计算能力由智能芯片(CPU、NPU、GPU、ASIC、FPGA等硬件加速芯片)提供；基础平台包括分布式计算框架及网络等相关的平台保障和支持，可以包括云存储和计算、互联互通网络等。举例来说，传感器和外部沟通获取数据，这些数据提供给基础平台提供的分布式计算系统中的智能芯片进行计算。
(2)数据
基础设施的上一层的数据用于表示人工智能领域的数据来源。数据涉及到图形、图像、语音、文本，还涉及到传统设备的物联网数据，包括已有系统的业务数据以及力、位移、液位、温度、湿度等感知数据。
(3)数据处理
数据处理通常包括数据训练，机器学习，深度学习，搜索，推理，决策等方式。
其中，机器学习和深度学习可以对数据进行符号化和形式化的智能信息建模、抽取、预处理、训练等。
推理是指在计算机或智能系统中，模拟人类的智能推理方式，依据推理控制策略，利用形式化的信息进行机器思维和求解问题的过程，典型的功能是搜索与匹配。
决策是指智能信息经过推理后进行决策的过程，通常提供分类、排序、预测等功能。
(4)通用能力
对数据经过上面提到的数据处理后，进一步基于数据处理的结果可以形成一些通用的能力，比如可以是算法或者一个通用系统，例如，翻译，文本的分析，计算机视觉的处理，语音识别，图像的识别等等。
(5)智能产品及行业应用
智能产品及行业应用指人工智能系统在各领域的产品和应用，是对人工智能整体解决方案的封装，将智能信息决策产品化、实现落地应用，其应用领域主要包括：智能终端、智能交通、智能医疗、自动驾驶、智慧城市等。
本申请实施例涉及了神经网络和自然语言处理(natural language processing，NLP)的相关应用，为了更好地理解本申请实施例的方案，下面先对本申请实施例可能涉及的神经网络的相关术语和概念进行介绍。
(1)卷积神经网络
卷积神经网络(convolutional neuron network，CNN)是一种带有卷积结构的深度神经网络。卷积神经网络包含了一个由卷积层和子采样层构成的特征抽取器，该特征抽取器可以看作是滤波器。卷积层是指卷积神经网络中对输入信号进行卷积处理的神经元层。在卷积神经网络的卷积层中，一个神经元可以只与部分邻层神经元连接。一个卷积层中，通常包含若干个特征平面，每个特征平面可以由一些矩形排列的神经单元组成。同一特征平面的神经单元共享权重，这里共享的权重就是卷积核。共享权重可以理解为提取特征的方式与位置无关。卷积核可以以随机大小的矩阵的形式化，在卷积神经网络的训练过程中卷积核可以通过学习得到合理的权重。另外，共享权重带来的直接好处是减少卷积神经网络各层之间的连接，同时又降低了过拟合的风险。
(2)图神经网络(Graph Convolutional Network，GCN)
图神经网络是一种建模处理非欧式空间数据(如图数据)的深度学习模型。其原理是使用成对消息传递，使得图节点通过与其邻居交换信息来迭代地更新其对应的表征。
GCN与CNN类似，区别在于，CNN的输入通常是二维结构数据，而GCN的输入通常是图结构数据。GCN精妙地设计了一种从图数据中提取特征的方法，从而可以使用这些特征去对图数据进行节点分类(node classification)、图分类(graph classification)、边预测(link prediction)，还可以得到图的嵌入表示(graph embedding)等。
(3)循环神经网络(recurrent neural networks，RNN)，也称为递归神经网络，是用来处理序列数据的。在传统的神经网络模型中，是从输入层到中间层再到输出层，层与层之间是全连接的，而对于每一层层内之间的各个节点是无连接的。这种普通的神经网络虽然解决了很多难题，但是却仍然对很多问题无能无力。例如，你要预测句子的下一个单词是什么，一般需要用到前面的单词，因为一个句子中前后单词并不是独立的。RNN之所以称为循环神经网路，即一个序列当前的输出与前面的输出也有关。具体的表现形式为网络会对前面的信息进行记忆并应用于当前输出的计算中，即中间层本层之间的节点不再无连接而是有连接的，并且中间层的输入不仅包括输入层的输出还包括上一时刻中间层的输出。理论上，RNN能够对任何长度的序列数据进行处理。对于RNN的训练和对传统的CNN或DNN的训练一样。
(4)损失函数
在训练深度神经网络的过程中，因为希望深度神经网络的输出尽可能的接近真正想要预测的值，所以可以通过比较当前网络的预测值和真正想要的目标值，再根据两者之间的差异情况来更新每一层神经网络的权重向量(当然，在第一次更新之前通常会有化的过程，即为深度神经网络中的各层预先配置参数)，比如，如果网络的预测值高了，就调整权重向量让它预测低一些，不断地调整，直到深度神经网络能够预测出真正想要的目标值或与真正想要的目标值非常接近的值。因此，就需要预先定义“如何比较预测值和目标值之间的差异”，这便是损失函数(loss function)或目标函数(objective function)，它们是用于衡量预测值和目标值的差异的重要方程。其中，以损失函数举例，损失函数的输出值(loss)越高表示差异越大，那么深度神经网络的训练就变成了尽可能缩小这个loss的过程。该损失函数通常可以包括误差平方均方、交叉熵、对数、指数等损失函数。例如，可以使用误差均方作为损失函数，定义为具体可以根据实际应用场景选择具体的损失函数。
(5)反向传播算法
一种计算根据损失函数计算模型参数梯度、更新模型参数的算法。神经网络可以采用误差反向传播(back propagation，BP)算法在训练过程中修正初始的神经网络模型中参数的大小，使得神经网络模型的重建误差损失越来越小。具体地，前向传递输入信号直至输出会产生误差损失，通过反向传播误差损失信息来更新初始的神经网络模型中参数，从而使误差损失收敛。反向传播算法是以误差损失为主导的反向传播运动，旨在得到最优的神经网络模型的参数，例如权重矩阵。
本申请实施方式中，在大语言模型的训练阶段或者推理阶段，都可以采用BP算法来对模型进行训练，得到训练后的模型。
(6)语言模型(language model，LM)
用于进行NLP，在NLP中占有重要的地位，它的任务是预测一个句子在语言中出现的概率。例如，一个语言模型通常构建为字符串s的概率分布p(s)，这里p(s)试图反映的是字符串s作为一个句子出现的频率。具体可以应用于文本识别或者机器翻译等场景。
(7)神经机器翻译(neural machine translation)：神经机器翻译是自然语言处理的一个典型任务。该任务是给定一个源语言的句子，输出其对应的目标语言句子的技术。在常用的神经机器翻译模型中，源语言和目标语言的句子中的词均会编码成为向量表示，在向量空间进行计算词与词以及句子与句子之间的关联，从而进行翻译任务。
(8)自注意力模型(self-attention model)，是指将一个序列数据(如自然语料“你的手机很不错。”)有效编码成为若干多维的向量，方便进行数值运算，该多维向量融合了序列中每个元素的相互之间的相似度信息，该相似度被称为自注意力。
(9)预训练语言模型(pre-trained language model，PLM)：是一种自然语言序列编码器，将自然语言序列中的每个词进行编码为一个向量表示，从而进行下游任务，如本申请以下所提及的词向量转换网络、动作向量转换网络或者动作生成网络等均可以采用PLM来实现。PLM的训练包含两个阶段，即预训练(pre-training)阶段和微调(finetuning)阶段。在预训练阶段，该模型在大规模无监督文本上进行语言模型任务的训练，从而学习到词表示方式。在微调阶段，该模型利用预训练阶段学到的参数做初始化，在文本分类(textclassification)或序列标注(sequence labeling)等下游任务(Downstream Task)上进行较少步骤的训练，就可以成功把预训练得到的语义信息成功迁移到下游任务上来。
(10)转换器(Transformer)结构：通常，PLM可以基于Transformer结构来构建的，如PLM可以通过多个Transformer结构堆叠得到，一个Transformer结构也可以称为Transformer层。相比其他神经网络，如RNN或者CNN等，Transformer层依靠其注意力机制捕捉词与词之间的长依赖关系。示例性地，Transformer层的结构可以如图2所示，Transformer层包括多头注意力网络和前向网络模块，其中多头注意力网络通过计算词与词之间的相关性获得相应的权重值，得到上下文相关的词表征，是Transformer结构中核心的部分；前向网络对得到的表征做进一步的变换得到Transformer层最终的输出。除了两个重要组件外，残差层(residual layer，ADD)和线性归一化(linear normalization，Norm)也分别堆叠在这两个组件上，用于优化Transformer层的输出。
(11)Transformers库：
提供用于自然语言理解(natural language understanding，NLU)或自然语言生成(natural language generation，NLG)等的模型，如BERT(bidirectional encoderrepresentations from transformers)，GPT-2，RoBERTa，XLM，DistilBert，XLNet，CTRL等，拥有多预训练模型，支持多种语言处理。
(12)大语言模型(large language model，LLM)
是指包含数千亿(或更多)参数的语言模型，这些参数是在大量文本数据上训练的。是一种基于深度学习的自然语言处理模型。这些模型可以处理大量的文本数据，从而学习到自然语言的语法和语义规则。LLM具体可以应用于文本生成、机器翻译、问答系统、文本摘要或者情感分析等，其具有生成能力强、适应性强、预测准确以及可扩展性强等优势。例如，在电影推荐场景，大语言模型可以生成电影场景的描述，包括电影类型、主演、故事情节等，以便系统能够更好地推荐相似的电影。大语言模型还可以生成推荐理由，例如电商网站可以通过大语言模型生成推荐商品的理由，例如商品的品质、价格、功能等等，以便用户更好地理解商品的价值。此外，通过外接一个传统推荐系统给出的候选列表，大语言模型同样可以进行推荐结果的排序和总结，生成便于用户阅读浏览的结果。
但通常大语言模型计算复杂度高，大语言模型需要大量的计算资源和时间来训练和推理，因此在应用于推荐系统中时，需要考虑计算复杂度的问题，导致无法在推荐系统中规模化应用语言模型。通常无法自主处理大规模未知item库：推荐系统需要处理大量item库，而语言模型无法在较低的开销下遍历item库的内容，导致仍需要一个传统的推荐系统给出候选集。应用范围窄：大语言模型往往无法直接完成推荐的整个流程，只能替代其中的部分步骤，限制了语言模型在推荐系统中的应用。
(13)自动机器学习(AutoML)：是指设计一系列高级的控制系统去操作机器学习模型，使得模型可以自动化地学习到合适的参数和配置而无需人工干预。在基于深度神经网络的学习模型中，自动计算学习主要包括网络架构搜索与全局参数设定。其中，网络架构搜索用于根据数据让计算机生成最适应问题的神经网络架构，具有训练复杂度高，性能提升大的特点。
(14)梯度：损失函数关于参数的导数向量。
(15)随机梯度：机器学习中样本数量很大，所以每次计算的损失函数都由随机采样得到的数据计算，相应的梯度称作随机梯度。
(16)Embedding：指样本的特征表示或者词嵌入表征。
(17)推荐系统：推荐系统根据用户的历史点击行为数据，采用机器学习算法进行分析和学习，然后对用户的新请求进行预测，返回个性化物品推荐列表。
(18)点击率(Click Through Rate，CTR)：指用户在特定环境下点击某个展示物品的概率。
(19)转化率(Post-click conversion rate，CVR)：指用户在特定环境下对已点击的某个展示物品转化的概率，例如，若用户点击了某个APP的图标，转化即指下载、安装、注册等行为。
(20)迁移学习：运用已有的知识来辅助学习新的知识，核心是找到已有知识和新知识之间的相似性。
(21)模型收敛：模型经过多轮迭代后模型的预测值与实际值之间的误差小于某个预先设定的较小的值。
本申请实施例提供的推荐方法可以在服务器上被执行，还可以在终端设备上被执行。其中该终端设备可以是具有图像处理功能的移动电话、平板个人电脑(tabletpersonal computer，TPC)、媒体播放器、智能电视、笔记本电脑(laptop computer，LC)、个人数字助理(personal digital assistant，PDA)、个人计算机(personal computer，PC)、照相机、摄像机、智能手表、可穿戴式设备(wearable device，WD)或者自动驾驶的车辆等，本申请实施例对此不作限定。
下面介绍本申请实施例提供的系统架构。
参见图2，本申请实施例提供了一种系统架构200。如系统架构200所示，数据采集设备260可以用于采集训练数据。在数据采集设备260采集到训练数据之后，将这些训练数据存入数据库230，训练设备220基于数据库230中维护的训练数据训练得到目标模型/规则201。
下面对训练设备220基于训练数据得到目标模型/规则201进行描述。示例性地，训练设备220对多帧样本图像进行处输出对应的预测标签，并计算预测标签和样本的原始标签之间的损失，基于该损失对分类网络进行更新，直到预测标签接近样本的原始标签或者预测标签和原始标签之间的差异小于阈值，从而完成目标模型/规则201的训练。具体描述详见后文中的训练方法。
本申请实施例中的目标模型/规则201具体可以为神经网络。需要说明的是，在实际的应用中，数据库230中维护的训练数据不一定都来自于数据采集设备260的采集，也有可能是从其他设备接收得到的。另外需要说明的是，训练设备220也不一定完全基于数据库230维护的训练数据进行目标模型/规则201的训练，也有可能从云端或其他地方获取训练数据进行模型训练，上述描述不应该作为对本申请实施例的限定。
根据训练设备220训练得到的目标模型/规则201可以应用于不同的系统或设备中，如应用于图2所示的执行设备210，所述执行设备210可以是终端，如手机终端，平板电脑，笔记本电脑，增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)，车载终端，电视等，还可以是服务器或者云端等。在图2中，执行设备210配置有收发器212，该收发器可以包括输入/输出(input/output，I/O)接口或者其他无线或者有线的通信接口等，用于与外部设备进行数据交互，以I/O接口为例，用户可以通过客户设备240向I/O接口输入数据。
在执行设备210对输入数据进行预处理，或者在执行设备210的计算模块111执行计算等相关的处理过程中，执行设备210可以调用数据存储系统250中的数据、代码等以用于相应的处理，也可以将相应处理得到的数据、指令等存入数据存储系统250中。
最后，I/O接口212将处理结果返回给客户设备240，从而提供给用户。
值得说明的是，训练设备220可以针对不同的目标或称不同的任务，基于不同的训练数据生成相应的目标模型/规则201，该相应的目标模型/规则201即可以用于实现上述目标或完成上述任务，从而为用户提供所需的结果。
在附图2中所示情况下，用户可以手动给定输入数据，该手动给定可以通过收发器212提供的界面进行操作。另一种情况下，客户设备240可以自动地向收发器212发送输入数据，如果要求客户设备240自动发送输入数据需要获得用户的授权，则用户可以在客户设备240中设置相应权限。用户可以在客户设备240查看执行设备210输出的结果，具体的呈现形式可以是显示、声音、动作等具体方式。客户设备240也可以作为数据采集端，采集如图所示输入收发器212的输入数据及输出收发器212的输出结果作为新的样本数据，并存入数据库230。当然，也可以不经过客户设备240进行采集，而是由收发器212直接将如图所示输入收发器212的输入数据及输出收发器212的输出结果，作为新的样本数据存入数据库230。
值得注意的是，附图2仅是本申请实施例提供的一种系统架构的示意图，图中所示设备、器件、模块等之间的位置关系不构成任何限制，例如，在图2中，数据存储系统250相对执行设备210是外部存储器，在其它情况下，也可以将数据存储系统250置于执行设备210中。
如图2所示，根据训练设备220训练得到目标模型/规则201，该目标模型/规则201在本申请实施例中可以是本申请中的推荐模型。
示例性地，本申请提供的推荐方法的应用的系统架构可以如图3所示。在该系统架构300中，服务器集群310由一个或多个服务器实现，可选的，与其它计算设备配合，例如：数据存储、路由器、负载均衡器等设备。服务器集群310可以使用数据存储系统250中的数据，或者调用数据存储系统250中的程序代码实现本申请提供的推荐方法的步骤。
用户可以操作各自的用户设备(例如本地设备301和本地设备302)与服务器集群310进行交互。每个本地设备可以表示任何计算设备，例如个人计算机、计算机工作站、智能手机、平板电脑、智能摄像头、智能汽车或其他类型蜂窝电话、媒体消费设备、可穿戴设备、机顶盒、游戏机等。
每个用户的本地设备可以通过任何通信机制/通信标准的通信网络与服务器集群310进行交互，通信网络可以是广域网、局域网、点对点连接等方式，或它们的任意组合。具体地，该通信网络可以包括无线网络、有线网络或者无线网络与有线网络的组合等。该无线网络包括但不限于：第五代移动通信技术(5th-Generation，5G)系统，长期演进(long termevolution，LTE)系统、全球移动通信系统(global system for mobile communication，GSM)或码分多址(code division multiple access，CDMA)网络、宽带码分多址(widebandcode division multiple access，WCDMA)网络、无线保真(wireless fidelity，WiFi)、蓝牙(bluetooth)、紫蜂协议(Zigbee)、射频识别技术(radio frequency identification，RFID)、远程(Long Range，Lora)无线通信、近距离无线通信(near field communication，NFC)中的任意一种或多种的组合。该有线网络可以包括光纤通信网络或同轴电缆组成的网络等。
在另一种实现中，执行设备210的一个方面或多个方面可以由每个本地设备实现，例如，本地设备301可以为执行设备210提供本地数据或反馈计算结果。
需要注意的，执行设备210的所有功能也可以由本地设备实现。例如，本地设备301实现执行设备210的功能并为自己的用户提供服务，或者为本地设备302的用户提供服务。
通常，机器学习系统可以包括个性化推荐系统，可以基于输入数据和标签，通过梯度下降等优化方法训练机器学习模型的参数，当模型参数收敛之后，可利用该模型来完成未知数据的预测。以个性化推荐系统中的点击率预测为例，其输入数据包括用户特征、物品特征和上下文特征等。如何根据用户的偏好，预测出个性化的推荐列表，对提升推荐系统的用户体验和平台收入有着重要的影响。
例如，在网络应用中，用户和商品之间存在多种交互行为，如点击、喜欢、加购物车或者购买等，犹豫不同类型的行为表达了用户和商品交互时不同的潜在意图，因此可以使用用户多行为信息来捕获用户的真实意图。
例如，在一些推荐场景中，例如AutoGPT场景中，利用大语言模型完成给定任务。在用户利用文本描述的形式给出一个任务和目标后，该方案会调用GPT-4进行任务调度和执行。同时，该方案会维护一个工作记忆模块保存执行任务的中间状态。然而，流程速度缓慢，需要大量的token推理开销，通常执行一次任务需要进行多次子任务执行，成本高昂。且该方案同时也依赖于传统的检索系统辅助，无法取代推荐系统。
又例如，一些方案中，利用ChatGPT进行推荐的效果。该框架根据推荐的具体任务设计相应的提示模板作为ChatGPT的输入，并对输出的结果进行格式检查。然而，无法适配未知或较大的item库。对于item库未知的情况，在不借助传统推荐系统产生候选集时的准确性接近于0，不具备实际应用性；方案虽然支持对少量候选item进行排序，但受限于推理开销无法遍历较大的item库。
因此，本申请提供一种推荐方法，利用语言模型来实现更高效的推荐系统，从而可以基于用户的兴趣进行推荐，提高用户体验。
示例性地，本申请应用的推荐框架可以如图4所示，可以分为训练部分和在线推理部分。其中，在训练部分，训练集中包括输入数据和对应的标签，如在用户商品推荐场景中，该训练集可以包括用户点击、收藏或喜欢的商品以及最终购买的商品。将训练集输入至初始模型，通过梯度下降等优化方法训练机器学习模型的参数，得到推荐模型。在线推理部分中，即可将推荐模型部署于推荐平台，如部署于服务器或者终端中，此处以服务器为例，即可通过服务器来输出针对用户的推荐列表，如在商品推荐场景中，即可在用户终端的主页展示为用户推荐的商品的信息，如商品图标或者链接标题等，或者在用户点击了某个商品后，即可在推荐区域展示为用户推荐的商品的图标或者链接标题等。
在一些应用场景中，推荐流程可以如图5所示，其中可以包括展示列表、日志、离线训练以及线上预测等部分。用户在前端展示列表中进行一系列的行为，如浏览、点击、评论、下载等，产生行为数据，存储于日志中。推荐系统利用包括用户行为日志在内的数据进行离线的模型训练，在训练收敛后产生预测模型，将模型部署在线上服务环境并基于用户的请求访问、商品特征和上下文信息给出推荐结果，然后用户对该推荐结果产生反馈形成用户数据。
其中，在离线训练部分，本申请提供的多行为推荐模型通过用户与商品之间的多行为历史交互来对用户的行为方式和动态兴趣进行建模。可以有效且高效的用户兴趣建模，可以提升推荐模型的准确率和个性化，带来用户体验的极大提升。
例如，以展示广告为例，用户在前端展示列表中进行一系列的行为，如浏览、点击、评论、下载等，产生行为数据，存储于日志中。推荐系统利用包括用户行为日志在内的数据进行离线的模型训练，在训练收敛后产生预测模型，将模型部署在线上服务环境并基于用户的请求访问、物品特征和上下文信息给出推荐排序结果，最后用户对该推荐结果产生反馈形成用户数据。
通常，大多数推荐系统中item的数量通常较为庞大，从数万到数亿量级不等。而大语言模型推理开销巨大，无法遍历较大规模的item库进行推荐排序。本申请提供的自动化推荐方法可以实现使用较少的文本输入代价，实现在未知大规模item库上的个性化推荐。
下面结合附图，对本申请提供的方法流程进行详细介绍。
参阅图6，本申请提供的一种推荐方法的流程示意图，如下所述。
601、获取用户特征集合。
该用户特征集合中可以包括用于描述用户特征的文本，或者可以理解为与用户相关的关键词或者关键字。
具体地，该用户特征集合可以基于用户的输入数据得到。该输入数据可以包括采集到的用户信息，也可以包括接收到的输入数据等。该输入数据中可以包括用户信息，该用户信息具体可以包括但不限于用户身份信息、定位信息、用户输入数据或者用户产生的历史信息等。具体地，该用户身份信息如用户的名称、标识等表示用户身份的信息；该定位信息可以包括用户自身所在位置的坐标，可以由用户使用客户端进行定位得到；用户输入数据可以包括用户进行输入操作的数据，如用户打开应用市场或者音乐软件等，或者用户点击某个app或者点击某个音乐图标等操作；用户产生的历史信息例如用户点击或者下载过的app的信息，播放或者下载过的音乐等信息。
应理解，用户的输入数据与应用场景相关，在不同的推荐场景中产生的输入数据也可能不相同。例如，在APP推荐场景中，可以包括如APP的名称、应用类型、应用风格等信息，以及点击APP后进一步的操作，如下载、安装、注册等转化操作。又例如，在音乐推荐场景中，可以包括大量用户点击的音乐的信息，如音乐类型、歌手信息等信息，以及点击音乐后的进一步操作，如播放、下载等转化操作。
在一种可能的实施方式中，具体可以采集一种或多种类型的包括了用户信息的原始数据，如原始数据中可以包括图像、语音或者文本等类型的数据，即可从图像、语音或者文本等类型的原始数据中提取文本，从而得到用户特征集合。如可以通过预训练的转换网络从图像或者语音中提取特征，从而提取输入数据中的文本。
进一步地，可以从原始数据中提取每个用户的一个或者多个关键词，从而得到用户的描述信息，即该描述信息中包括描述用户的一个或多个关键词，可以将该描述信息作为语言模型的输入，从而通过语言模型对用户的关键词进行分类，并基于分类结果得到用户集合。其中，针对用户的关键词的分类，通常可以分为一级或者多级，可以理解为每个类别可以包括一种或者多种子类别。具体地，在将描述信息作为语言模型的输入时，可以按照预先设定的输入格式进行输入，如可以输入“根据用户的特征，总结用户的兴趣主题，并进行排序”，从而使语言模型可以基于输入的数据识别出其需执行的任务并执行。
602、通过语言模型基于用户特征集合生成召回路径。
在得到用户特征集合后，可以将用户特征集合作为语言模型的输入，从而输出针对用户进行推荐的召回路径，或者称为推荐类别路径或者推荐目录路径等。
用户特征集合中的关键词可以分为一个或多个类别，可能的，一些类别下还可以包括一种或者多种子类别。当存在多种类别时，可以基于类别之间的关系分为一级或者多级类别，如该多个类别可以理解通过树状结构表示，每个类别下可以包括一种或者多种子类别。
在一种可能的实施方式中，通过语言模型生成召回路径的具体方式可以包括：以相邻的两级类别为例，为便于区分称为第一级类别与第二级类别，第二级类别为第一级类别的子类别，第一级类别中可以包括一种或者多种第二级类别。将一个或多个第一级类别作为语言模型的输入，从而筛选出至少一个第一级类别的关键词，随后通过语言模型确定每个第一级类别对应的权重值，该权重值可以用于表示每个第一级类别的推荐程度，或者可以理解为预测的用户对该类别的感兴趣程度，基于每个第一类别对应的权重，确定一个或多个第一级类别下的至少一个第二级类别，从而得到召回路径。
具体地，可以通过语言模型确定筛选出来的至少一个第一级类别下的每个第二级类别的权重值，并根据每个第二级类别的权重值从该至少一个第一级类别下多个第二级类别中筛选出一个或多个第二级类别，从而得到召回路径。
应理解，若第二级类别下还包括第三级类别，还可以确定该至少一个第二级类别中每个第二级类别下的各个第三级类别对应的权重，然后基于每个第三级类别的权重筛选出一个或多个第三级类别，以此类推。
具体例如，可以根据每个第一级类别的关键词对应的权重值，确定K个第一级类别；通过语言模型确定K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，K为正整数；根据K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，确定Q个第二级类别，Q为正整数；根据K个第一级类别和Q个第二级类别包括的关键词确定召回路径。因此，可以基于用户数据进行关键字分类，从而可以根据关键字类别之间的关系，使用语言模型来进行推荐。无需人工进行参与，也可以将语言模型应用于多种场景或者所大item库场景，通过语言模型准确挖掘出与用户更贴近的关键词，从而可以在推荐场景中为用户实现更准确地推荐。
此外，在将用户特征集合作为语言模型的输入时，可以按照预先设定的格式进行输入，从而使语言模型可以识别输入的文本所描述的任务并执行。例如，在将第一级类别作为语言模型的输入时，可以按照预先设定的模板进行输入，如表示为“对以下类别进行根据用户的兴趣确定权重并进行排序：[类别1][类别xxx]”，从而使语言模型可以基于输入的数据识别其需要执行的任务。
603、通过语言模型基于召回路径生成针对用户的推荐列表。
在确定召回路径后，即可基于召回路径生成针对用户的推荐列表。如可以获取召回路径中的每条路径下的最后一级类别对应的关键词对应的推荐数据，通过语言模型对推荐数据进行排列，得到推荐列表。
本申请实施方式中，可以通过语言模型对用户的关键词进行分类，并通过语言模型筛选出为用户推荐的类别。因此可以使用语言模型参与推荐系统中的各个阶段，从而生成更准确地与用户感兴趣内容更接近的推荐数据，提高用户体验。
前述对本申请提供的方法流程进行了介绍，下面集合具体的应用场景，对本申请提供的方法的流程进行更详细地介绍。
本申请提供的推荐方法可以分为多个部分，参阅图7，本申请提供的另一种推荐方法的流程示意图。可以分为多个部分，如图7中所示的用户兴趣总结模块701、个性化召回模块702以及个性化排序模块703等。
其中，701模块用于将用户的行为数据转化为自然文本，并从中总结用户从强到弱的兴趣类别。702模块根据用户的兴趣以及候选物品库的类别层次结构，逐级分配各个类别应召回物品的比例，并在高召回比例的类别下选取相应数量的候选物品。703模块将各个类别下选取的物品进行混合排序，并根据排序的差异化需求考虑相邻物品之间的差异度，提高推荐列表的多样性。
下面分别结合图7对各个模块进行介绍。
701、用户兴趣总结模块。
首先基于用户的原始数据得到关于用户的文本描述，可以理解为描述用户的特征的关键词。该原始数据具体可以包括文本、图像或者语音等数据，如可以将原始数据转换为用户的特征列表，用于表示用户的感兴趣关键词或者感兴趣类别等。
针对用户的类别或具体的数值特征，可以通过预先设定的数据结构进行描述。例如，可以使用“[特征名]为[特征值]”的模板进行描述，如“性别”为“男/女”，“年龄”为“50”等。针对用户的历史行为，以用户点击过的新闻为例，可以使用历史交互过的新闻标题等特征进行描述，例如“历史点击新闻为：[新闻标题1],[新闻标题2],…,[新闻标题N]”。将各种类别的特征文本描述拼接，形成大预言模型的提示模板输入。
利用语言模型根据用户的特征描述生成用户兴趣总结描述。此外，本申请示例性地以语言模型为大语言模型为例进行介绍，以下提及的大语言模型可以替换为语言模型，以下不再赘述。
如可以将用户的特征以及提示文本作为语言模型的输入，从而通过语言模型基于用户的特征进行总结，确定用户的兴趣主题。例如，输入至语言模型的提示可以是“根据用户的特征，总结用户的兴趣主题，从强到弱进行排序”，语言模型可以根据输入的数据确定其需要执行的任务，从而基于用户的特征筛选出用户感兴趣关键词。
702、个性化召回模块。
在得到用户兴趣总结后，即可基于用户的兴趣总结，生成针对用户的召回路径，该召回路径可以基于用户对各个类别的感兴趣程度来确定，或者，也可以理解为针对用户感兴趣类别或者感兴趣关键词进行推荐的推荐程度的路径。
通常，可以将用户的感兴趣关键词进行分类，分为一个或多个类别，每个类别下可以包括一个或多个子类别，每个子类别下还可以包括其下一级的子类别等，以此类推。
以行文剪场景为例，假设候选新闻集合包含一级主题类别和二级主题类别，每个二级主题类别属于一个一级主题类别，而每个新闻属于一个二级类别。
此外，需要说明的是，与大语言模型的一次交互可以理解为一次会话。
在同一个会话中，将一级类别作为大语言模型的输入，通过大语言模型根据用户兴趣给出召回的一级主题类别及其比重。一种可能的提示模板为“一级类别包括：[类别1]，[类别2],…,[类别X]，根据用户兴趣给出推荐的一级类别以及权重”。将该提示模板输入模型后，模型会输出推荐的一级类别列表[t1,t2,…,tM]以及相应的召回权重[w1,w2,…,wM]。
通常大语言模型给出的召回权重可能不是归一化的，因此可选地，可以对这些权重进行归一化处理，如每个权重都除以这M个权重的和，得到权重[w′ 1,w′ 2,…,w′ M]。
选取权重最高的K个一级类别，使用语言模型推荐这些一级类别下的二级类别(进一步筛选)。在同一个会话中，将这K个一级类别下属的二级类别列表作为输入，并要求语言模型根据用户兴趣给出召回的一级主题类别及其比重。例如，提示模板为“[类别1]下的二级类别包括：[二级类别1]，[二级类别2],…,[二级类别Y]。…[类别K]下的二级类别包括：[二级类别1]，[二级类别2],…,[二级类别Z]。根据用户兴趣给出推荐的二级类别以及权重”。将该提示模板输入模型后，模型会输出每个一级类别下推荐的二级类别列表[t1,1,t1,2,…,t1,P],…,[tK,1,tK,2,…,tK,P],以及相应的召回权重[w1,1,w1,2,…,w1,P],…,[wK,1,wK,2,…,wK,P]。
将每个一级类别推荐的二级类别的权重归一化，得到归一化的权重[w′1,1,w′1,2,…,w′1,P],…,[w′K,1,w′K,2,…,w′K,P]。二级类别的权重与对应一级类别的权重相乘，得到统一的二级类别权重。记第i个一级类别下的第j个二级类别权重为si,j，计算方法为si,j＝w′ i×w′ i,j。
选取上述权重最高的Q个二级类别，对每个二级类别(可能存在三级类别或者四级类别等，按照上述步骤以此迭代类推)下的新闻进行个性化排序。首先对这些二级类别的权重进行重新归一化，得到权重s′i,j。假设各个类别总共期望选取S个新闻，则每个推荐的二级类别下则选取Ni,j＝S×si,j个新闻。对于每个二级类别，如输入至大语言模型的模板可以为“[二级类别i]下的新闻包括：[新闻标题1]，[新闻标题2],…,[新闻标题W]。根据用户兴趣推荐[Ni,j]个新闻”。上述Q个二级类别均会构造上述模板，输入语言模型进行新闻选取。
当然，除了可以分为一级类别和二级类别，还可能存在三级类别或者四级类别等，具体可以参考上述描述，通过大语言模型输出下一级类别对应的权重并进行筛选，以此类推，此处不再赘述。
703、个性化排序模块。
在确定Q个二级类别下的新闻后，将其混合并作为大语言模型的输入，通过大语言模型进行排序。如可以输入提示“将如下新闻进行个性化排序，请注意排序列表中新闻之间的多样性。[新闻标题1]，[新闻标题2],…,[新闻标题S]”。将大语言模型输出的排序结果映射为原始新闻的ID，传递给前端系统用于把新闻内容展示给用户。
可以理解为，本申请实施方式中，首先利用大模型从用户的行为历史总结用户的兴趣描述，再根据候选item库的层次化类别结构，生成逐级推荐召回路径。接下来对较高权重的item类别下选取相应数量的item进行排序，最终混合各个类别的item进行综合排序。且法利用提示模板要求大模型自动生成召回路径及与兴趣强弱相关的路径权重，并基于该权重进行路径的剪枝采样，生成最终期望推荐的候选item类别分布。
因此，本申请实施方式中，可以通过大语言模型实现针对用户更准确的推荐。通常，推荐系统具有召回、排序、重排等多个流程，而已有方案中大模型仅能参与部分流程，不能直接替代传统推荐系统。一方面，推荐系统时延要求极其苛刻，大语言模型难以快速大规模推理。另一方面，推荐item库规模大且动态更新，大语言模型难以直接处理。本发明旨在实现基于大模型的高效自动推荐，可以在较高的计算效率下用大语言模型自动实现推荐系统的全部主要流程。
以某一浏览器的推荐为例。新闻排序需要预测新闻的点击率，其输入包括用户特征和新闻特征等，随后通过模型预测。本申请提供了一种基于大语言模型的推荐方法，可以使用大语言模型的理解能力进行复杂的推荐策略建模。
如具体流程可以包括：
首先，收集系统日志，清洗数据，将用户特征经过文本化后输入701模块，得到用户兴趣的描述。
随后，在同一个会话中，添加新闻一级类别名称的集合后，使用702模块得到一级类别的召回权重。
在同一个会话中，对于高权重的一级类别，添加下属二级类别名称的集合后，使用702模块得到二级类别的召回权重，以此类推得到最细层级的召回权重。
随后，将高召回权重的最细类别下的新闻分别输入大语言模型进行排序选择。
随后，将各个类别下的精选新闻输入703模块进行混合排序
传统推荐方案需要大规模的训练数据，在训练数据较为稀疏时无法进行准确的推荐。基于语言模型的推荐方法中，通常已有的推荐方案都高度依赖传统推荐模型产生候选集，准确性受限，也无法处理未知大规模候选库。本申请提供一种全自动的基于大语言模型的高效推荐方法，可以有效处理大规模的推荐候选item库。
还例如，本申请提供的方法可以应用于APP推荐场景，如图8所示，可以在用户的终端的显示界面中显示推荐的app的图标，以便于用户对推荐的app进行进一步的点击或者下载等操作，使用户可以快速查找所需的app，提高用户体验。
又例如，本申请提供的方法可以应用于商品推荐场景，如图9所示，可以在用户的终端的显示界面中显示推荐的商品的图标，以便于用户对推荐的商品进行进一步的点击、加购或者购买等操作，使用户可以查看所需的商品，提高用户体验。
还例如，本申请提供的方法可以应用于音乐推荐场景，如图10所示，可以在用户的终端的显示界面中显示推荐的音乐的图标，以便于用户对推荐的音乐进行进一步的点击、收藏或者播放等操作，使用户可以查看更偏好的音乐，提高用户体验。
本申请提供的方法中，针对大语言模型在推荐系统中的应用范式进行了改进，提升了大语言模型在推荐系统中的参与程度，可以起到替代传统推荐系统的作用。可以实现的效果可以包括：提高推荐准确性：大语言模型可以通过对用户历史行为和兴趣进行深入分析，进而提高推荐系统的准确性；丰富推荐内容：大语言模型可以生成更加丰富和多样化的推荐内容，从而增加用户的选择范围和满足度；提高用户体验：大语言模型可以根据用户的行为和反馈进行实时调整和优化，从而提高用户的体验和满意度。
前述对本申请提供的方法流程进行了介绍，下面对本申请提供的执行前述方法流程的装置结构进行介绍。
参阅图11，本申请提供的一种推荐装置的结构示意图，如下所述。
获取模块1101，用于获取用户特征集合，用户特征集合中包括描述用户画像的文本；
处理模块1102，用于通过语言模型基于用户特征集合生成召回路径，召回路径表示针对用户进行推荐的路径，其中，语言模型用于对输入的数据进行分类并为每个类别生成对应的权重，并根据每个类别生成对应的权重生成召回路径；
处理模块1102，还用于通过语言模型基于召回路径生成针对用户的推荐列表。
一种可能的实施方式中，前述的用户特征集合中包括的关键词分为至少一个类别，处理模块1102，用于：
将至少一个类别中的第一级类别的关键词作为语言模型的输入，确定每个第一级类别的关键词对应的权重值；
根据每个第一级类别的关键词对应的权重值，确定每个第一级类别中的至少一个第二级类别的关键词，得到召回路径，第一级类别和第二级类别为用户特征集合的关键词的类别中的任意两级相邻类别。
一种可能的实施方式中，处理模块1102，用于：根据每个第一级类别的关键词对应的权重值，确定K个第一级类别；通过语言模型确定K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，K为正整数；根据K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，确定Q个第二级类别，Q为正整数；根据K个第一级类别和Q个第二级类别包括的关键词确定召回路径。
一种可能的实施方式中，处理模块1102，用于：获取召回路径下的最后一级类别的关键词对应的推荐数据；对推荐数据进行排序，生成针对用户的推荐列表。
一种可能的实施方式中，获取模块1101，用于：获取用户的描述信息，描述信息包括描述用户的多个关键词；通过语言模型基于描述信息生成用户特征集合，其中，语言模型用于从描述信息中对用户的关键词进行分类，并根据分类结果得到用户特征集合。
一种可能的实施方式中，获取模块1101，用于：获取用户的原始数据，原始数据包括文本、语音或者图像中的一种或多种；从原始数据中提取关键词，得到描述信息。
一种可能的实施方式中，语言模型的输入包括预先设定的格式。
请参阅图12，本申请提供的另一种推荐装置的结构示意图，如下所述。
该推荐装置可以包括处理器1201和存储器1202。该处理器1201和存储器1202通过线路互联。其中，存储器1202中存储有程序指令和数据。
存储器1202中存储了前述图6-图10中的步骤对应的程序指令以及数据。
处理器1201用于执行前述图6-图10中任一实施例所示的推荐装置执行的方法步骤。
可选地，该推荐装置还可以包括收发器1203，用于接收或者发送数据。
本申请实施例中还提供一种计算机可读存储介质，该计算机可读存储介质中存储有用于生成车辆行驶速度的程序，当其在计算机上行驶时，使得计算机执行如前述图6-图10所示实施例描述的方法中的步骤。
可选地，前述的图12中所示的推荐装置为芯片。
本申请实施例还提供了一种推荐装置，该推荐装置也可以称为数字处理芯片或者芯片，芯片包括处理单元和通信接口，处理单元通过通信接口获取程序指令，程序指令被处理单元执行，处理单元用于执行前述图6-图10中任一实施例所示的推荐装置执行的方法步骤。
本申请实施例还提供一种数字处理芯片。该数字处理芯片中集成了用于实现上述处理器1201，或者处理器1201的功能的电路和一个或者多个接口。当该数字处理芯片中集成了存储器时，该数字处理芯片可以完成前述实施例中的任一个或多个实施例的方法步骤。当该数字处理芯片中未集成存储器时，可以通过通信接口与外置的存储器连接。该数字处理芯片根据外置的存储器中存储的程序代码来实现上述实施例中推荐装置执行的动作。
本申请实施例中还提供一种包括计算机程序产品，当其在计算机上行驶时，使得计算机执行如前述图6-图10所示实施例描述的方法中推荐装置所执行的步骤。
本申请实施例提供的推荐装置可以为芯片，芯片包括：处理单元和通信单元，所述处理单元例如可以是处理器，所述通信单元例如可以是输入/输出接口、管脚或电路等。该处理单元可执行存储单元存储的计算机执行指令，以使服务器内的芯片执行上述图6-图10所示实施例描述的神经网络训练方法。可选地，所述存储单元为所述芯片内的存储单元，如寄存器、缓存等，所述存储单元还可以是所述无线接入设备端内的位于所述芯片外部的存储单元，如只读存储器(read-only memory，ROM)或可存储静态信息和指令的其他类型的静态存储设备，随机存取存储器(random access memory，RAM)等。
具体地，前述的处理单元或者处理器可以是中央处理器(central processingunit，CPU)、网络处理器(neural-network processing unit，NPU)、图形处理器(graphicsprocessing unit，GPU)、数字信号处理器(digital signal processor，DSP)、专用集成电路(application specific integrated circuit,ASIC)或现场可编程逻辑门阵列(fieldprogrammable gate array，FPGA)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者也可以是任何常规的处理器等。
示例性地，请参阅图13，图13为本申请实施例提供的芯片的一种结构示意图，所述芯片可以表现为神经网络处理器NPU 130，NPU 130作为协处理器挂载到主CPU(Host CPU)上，由Host CPU分配任务。NPU的核心部分为运算电路1303，通过控制器1304控制运算电路1303提取存储器中的矩阵数据并进行乘法运算。
在一些实现中，运算电路1303内部包括多个处理单元(process engine,PE)。在一些实现中，运算电路1303是二维脉动阵列。运算电路1303还可以是一维脉动阵列或者能够执行例如乘法和加法这样的数学运算的其它电子线路。在一些实现中，运算电路1303是通用的矩阵处理器。
举例来说，假设有输入矩阵A，权重矩阵B，输出矩阵C。运算电路从权重存储器1302中取矩阵B相应的数据，并缓存在运算电路中每一个PE上。运算电路从输入存储器1301中取矩阵A数据与矩阵B进行矩阵运算，得到的矩阵的部分结果或最终结果，保存在累加器(accumulator)1308中。
统一存储器1306用于存放输入数据以及输出数据。权重数据直接通过存储单元访问控制器(direct memory access controller，DMAC)1305，DMAC被搬运到权重存储器1302中。输入数据也通过DMAC被搬运到统一存储器1306中。
总线接口单元(bus interface unit，BIU)1310，用于AXI总线与DMAC和取指存储器(instruction fetch buffer，IFB)1309的交互。
总线接口单元1310(bus interface unit，BIU)，用于取指存储器1309从外部存储器获取指令，还用于存储单元访问控制器1305从外部存储器获取输入矩阵A或者权重矩阵B的原数据。
DMAC主要用于将外部存储器DDR中的输入数据搬运到统一存储器1306或将权重数据搬运到权重存储器1302中或将输入数据数据搬运到输入存储器1301中。
向量计算单元1307包括多个运算处理单元，在需要的情况下，对运算电路的输出做进一步处理，如向量乘，向量加，指数运算，对数运算，大小比较等等。主要用于神经网络中非卷积/全连接层网络计算，如批归一化(batch normalization)，像素级求和，对特征平面进行上采样等。
在一些实现中，向量计算单元1307能将经处理的输出的向量存储到统一存储器1306。例如，向量计算单元1307可以将线性函数和/或非线性函数应用到运算电路1303的输出，例如对卷积层提取的特征平面进行线性插值，再例如累加值的向量，用以生成激活值。在一些实现中，向量计算单元1307生成归一化的值、像素级求和的值，或二者均有。在一些实现中，处理过的输出的向量能够用作到运算电路1303的激活输入，例如用于在神经网络中的后续层中的使用。
控制器1304连接的取指存储器(instruction fetch buffer)1309，用于存储控制器1304使用的指令；
统一存储器1306，输入存储器1301，权重存储器1302以及取指存储器1309均为On-Chip存储器。外部存储器私有于该NPU硬件架构。
其中，循环神经网络中各层的运算可以由运算电路1303或向量计算单元1307执行。
其中，上述任一处提到的处理器，可以是一个通用中央处理器，微处理器，ASIC，或一个或多个用于控制上述图6-图10的方法的程序执行的集成电路。
另外需说明的是，以上所描述的装置实施例仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施例方案的目的。另外，本申请提供的装置实施例附图中，模块之间的连接关系表示它们之间具有通信连接，具体可以实现为一条或多条通信总线或信号线。
通过以上的实施方式的描述，所属领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件的方式来实现，当然也可以通过专用硬件包括专用集成电路、专用CPU、专用存储器、专用元器件等来实现。一般情况下，凡由计算机程序完成的功能都可以很容易地用相应的硬件来实现，而且，用来实现同一功能的具体硬件结构也可以是多种多样的，例如模拟电路、数字电路或专用电路等。但是，对本申请而言更多情况下软件程序实现是更佳的实施方式。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在可读取的存储介质中，如计算机的软盘、U盘、移动硬盘、只读存储器(read only memory，ROM)、随机存取存储器(random access memory，RAM)、磁碟或者光盘等，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施例所述的方法。
在上述实施例中，可以全部或部分地通过软件、硬件、固件或者其任意组合来实现。当使用软件实现时，可以全部或部分地以计算机程序产品的形式实现。
所述计算机程序产品包括一个或多个计算机指令。在计算机上加载和执行所述计算机程序指令时，全部或部分地产生按照本申请实施例所述的流程或功能。所述计算机可以是通用计算机、专用计算机、计算机网络、或者其他可编程装置。所述计算机指令可以存储在计算机可读存储介质中，或者从一个计算机可读存储介质向另一计算机可读存储介质传输，例如，所述计算机指令可以从一个网站站点、计算机、服务器或数据中心通过有线(例如同轴电缆、光纤、数字用户线(DSL))或无线(例如红外、无线、微波等)方式向另一个网站站点、计算机、服务器或数据中心进行传输。所述计算机可读存储介质可以是计算机能够存储的任何可用介质或者是包含一个或多个可用介质集成的服务器、数据中心等数据存储设备。所述可用介质可以是磁性介质，(例如，软盘、硬盘、磁带)、光介质(例如，DVD)、或者半导体介质(例如固态硬盘(solid state disk，SSD))等。
本申请的说明书和权利要求书及上述附图中的术语“第一”、“第二”、“第三”、“第四”等(如果存在)是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的实施例能够以除了在这里图示或描述的内容以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
最后应说明的是：以上，仅为本申请的具体实施方式，但本申请的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本申请揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本申请的保护范围之内。

Claims (17)

1.一种推荐方法，其特征在于，包括：
获取用户特征集合，所述用户特征集合中包括描述用户画像的文本；
通过语言模型基于所述用户特征集合生成召回路径，所述召回路径表示针对所述用户进行推荐的路径，其中，所述语言模型用于对输入的数据进行分类并为每个类别生成对应的权重，并根据所述每个类别生成对应的权重生成所述召回路径；
通过所述语言模型基于所述召回路径生成针对所述用户的推荐列表。
2.根据权利要求1所述的方法，其特征在于，所述用户特征集合中包括的关键词分为至少一个类别，所述通过语言模型基于所述用户特征集合生成召回路径，包括：
将所述至少一个类别中的第一级类别的关键词作为所述语言模型的输入，确定每个第一级类别的关键词对应的权重值；
根据所述每个第一级类别的关键词对应的权重值，确定所述每个第一级类别中的至少一个第二级类别的关键词，得到所述召回路径，所述第一级类别和所述第二级类别为所述用户特征集合的关键词的类别中的任意两级相邻类别。
3.根据权利要求2所述的方法，其特征在于，所述根据所述每个第一级类别的关键词对应的权重值，确定所述每个第一级类别中的至少一个第二级类别的关键词，得到所述召回路径，包括：
根据所述每个第一级类别的关键词对应的权重值，确定K个第一级类别；
通过所述语言模型确定所述K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，所述K为正整数；
根据所述K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，确定Q个第二级类别，所述Q为正整数；
根据所述K个第一级类别和所述Q个第二级类别包括的关键词确定所述召回路径。
4.根据权利要求1-3中任一项所述的方法，其特征在于，所述通过所述语言模型基于所述召回路径生成针对所述用户的推荐列表，包括：
获取所述召回路径下的最后一级类别的关键词对应的推荐数据；
通过所述语言模型对所述推荐数据进行排序，生成针对所述用户的推荐列表。
5.根据权利要求1-4中任一项所述的方法，其特征在于，所述获取用户特征集合，包括：
获取所述用户的描述信息，所述描述信息包括描述所述用户的多个关键词；
通过所述语言模型基于所述描述信息生成所述用户特征集合，其中，所述语言模型用于从所述描述信息中对所述用户的关键词进行分类，并根据分类结果得到所述用户特征集合。
6.根据权利要求5所述的方法，其特征在于，所述获取所述用户的描述信息，包括：
获取所述用户的原始数据，所述原始数据包括文本、语音或者图像中的一种或多种；
从所述原始数据中提取关键词，得到所述描述信息。
7.根据权利要求1-6中任一项所述的方法，其特征在于，所述语言模型的输入包括预先设定的格式。
8.一种推荐装置，其特征在于，包括：
获取模块，用于获取用户特征集合，所述用户特征集合中包括描述用户画像的文本；
处理模块，用于通过语言模型基于所述用户特征集合生成召回路径，所述召回路径表示针对所述用户进行推荐的路径，其中，所述语言模型用于对输入的数据进行分类并为每个类别生成对应的权重，并根据所述每个类别生成对应的权重生成所述召回路径；
所述处理模块，还用于通过所述语言模型基于所述召回路径生成针对所述用户的推荐列表。
9.根据权利要求8所述的装置，其特征在于，所述用户特征集合中包括的关键词分为至少一个类别，所述处理模块，用于：
将所述至少一个类别中的第一级类别的关键词作为所述语言模型的输入，确定每个第一级类别的关键词对应的权重值；
根据所述每个第一级类别的关键词对应的权重值，确定所述每个第一级类别中的至少一个第二级类别的关键词，得到所述召回路径，所述第一级类别和所述第二级类别为所述用户特征集合的关键词的类别中的任意两级相邻类别。
10.根据权利要求9所述的装置，其特征在于，所述处理模块，用于：
根据所述每个第一级类别的关键词对应的权重值，确定K个第一级类别；
通过所述语言模型确定所述K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，所述K为正整数；
根据所述K个第一级类别中每个第一级类别下的至少一个第二级类别的关键词分别对应的权重，确定Q个第二级类别，所述Q为正整数；
根据所述K个第一级类别和所述Q个第二级类别包括的关键词确定所述召回路径。
11.根据权利要求8-10中任一项所述的装置，其特征在于，所述处理模块，用于：
获取所述召回路径下的最后一级类别的关键词对应的推荐数据；
对所述推荐数据进行排序，生成针对所述用户的推荐列表。
12.根据权利要求8-11中任一项所述的装置，其特征在于，所述获取模块，用于：
获取所述用户的描述信息，所述描述信息包括描述所述用户的多个关键词；
通过所述语言模型基于所述描述信息生成所述用户特征集合，其中，所述语言模型用于从所述描述信息中对所述用户的关键词进行分类，并根据分类结果得到所述用户特征集合。
13.根据权利要求12所述的装置，其特征在于，所述获取模块，用于：
获取所述用户的原始数据，所述原始数据包括文本、语音或者图像中的一种或多种；
从所述原始数据中提取关键词，得到所述描述信息。
14.根据权利要求8-13中任一项所述的装置，其特征在于，所述语言模型的输入包括预先设定的格式。
15.一种数据处理装置，其特征在于，包括一个或多个处理器，所述一个或多个处理器和存储器耦合，所述存储器存储有程序，当所述存储器存储的程序指令被所述一个或多个处理器执行时实现权利要求1至7中任一项所述的方法的步骤。
16.一种计算机可读存储介质，其特征在于，包括程序，当其被处理单元所执行时，执行如权利要求1至7中任一项所述的方法。
17.一种计算机程序产品，包括计算机程序/指令，其特征在于，所述计算机程序/指令被处理器执行时实现如权利要求1至7中任一项所述方法的步骤。
CN202310809705.7A 2023-06-30 2023-06-30 一种推荐方法以及装置 Pending CN117009650A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202310809705.7A CN117009650A (zh) 2023-06-30 2023-06-30 一种推荐方法以及装置

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202310809705.7A CN117009650A (zh) 2023-06-30 2023-06-30 一种推荐方法以及装置

Publications (1)

Publication Number Publication Date
CN117009650A true CN117009650A (zh) 2023-11-07

Family

ID=88575394

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202310809705.7A Pending CN117009650A (zh) 2023-06-30 2023-06-30 一种推荐方法以及装置

Country Status (1)

Country Link
CN (1) CN117009650A (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273868A (zh) * 2023-11-20 2023-12-22 浙江口碑网络技术有限公司 店铺推荐方法、装置、电子设备与存储介质
CN117390290A (zh) * 2023-12-08 2024-01-12 安徽省立医院(中国科学技术大学附属第一医院) 一种基于内容增强的语言模型学习动态用户兴趣的方法

Cited By (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117273868A (zh) * 2023-11-20 2023-12-22 浙江口碑网络技术有限公司 店铺推荐方法、装置、电子设备与存储介质
CN117390290A (zh) * 2023-12-08 2024-01-12 安徽省立医院(中国科学技术大学附属第一医院) 一种基于内容增强的语言模型学习动态用户兴趣的方法
CN117390290B (zh) * 2023-12-08 2024-03-15 安徽省立医院(中国科学技术大学附属第一医院) 一种基于内容增强的语言模型学习动态用户兴趣的方法

Similar Documents

Publication Publication Date Title
US20230088171A1 (en) Method and apparatus for training search recommendation model, and method and apparatus for sorting search results
CN117009650A (zh) 一种推荐方法以及装置
CN114997412A (zh) 一种推荐方法、训练方法以及装置
CN112883149B (zh) 一种自然语言处理方法以及装置
WO2024002167A1 (zh) 一种操作预测方法及相关装置
WO2024041483A1 (zh) 一种推荐方法及相关装置
CN115048560A (zh) 一种数据处理方法及相关装置
WO2024067779A1 (zh) 一种数据处理方法及相关装置
WO2024012360A1 (zh) 一种数据处理方法及相关装置
CN117251619A (zh) 一种数据处理方法及相关装置
CN116910357A (zh) 一种数据处理方法及相关装置
CN116910201A (zh) 一种对话数据生成方法及其相关设备
CN116843022A (zh) 一种数据处理方法及相关装置
CN117057855A (zh) 一种数据处理方法及相关装置
CN116204709A (zh) 一种数据处理方法及相关装置
CN116308640A (zh) 一种推荐方法及相关装置
CN115879508A (zh) 一种数据处理方法及相关装置
WO2023050143A1 (zh) 一种推荐模型训练方法及装置
CN115545738A (zh) 一种推荐方法及相关装置
WO2023051678A1 (zh) 一种推荐方法及相关装置
CN117009649A (zh) 一种数据处理方法及相关装置
CN116595252A (zh) 一种数据处理方法及相关装置
CN116186382A (zh) 一种推荐方法以及装置
CN116304296A (zh) 一种推荐方法以及装置
CN115630680A (zh) 一种数据处理方法及相关装置

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination