CN113836438B - 用于帖子推荐的方法、电子设备和存储介质 - Google Patents

用于帖子推荐的方法、电子设备和存储介质 Download PDF

Info

Publication number
CN113836438B
CN113836438B CN202111073331.4A CN202111073331A CN113836438B CN 113836438 B CN113836438 B CN 113836438B CN 202111073331 A CN202111073331 A CN 202111073331A CN 113836438 B CN113836438 B CN 113836438B
Authority
CN
China
Prior art keywords
neural network
model
gating
model parameters
target
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111073331.4A
Other languages
English (en)
Other versions
CN113836438A (zh
Inventor
顾茂杰
彭飞
唐文斌
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Shanghai Renyimen Technology Co ltd
Original Assignee
Shanghai Renyimen Technology Co ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Shanghai Renyimen Technology Co ltd filed Critical Shanghai Renyimen Technology Co ltd
Priority to CN202111073331.4A priority Critical patent/CN113836438B/zh
Publication of CN113836438A publication Critical patent/CN113836438A/zh
Application granted granted Critical
Publication of CN113836438B publication Critical patent/CN113836438B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9536—Search customisation based on social or collaborative filtering
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/958—Organisation or management of web site content, e.g. publishing, maintaining pages or automatic linking
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06Q—INFORMATION AND COMMUNICATION TECHNOLOGY [ICT] SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES; SYSTEMS OR METHODS SPECIALLY ADAPTED FOR ADMINISTRATIVE, COMMERCIAL, FINANCIAL, MANAGERIAL OR SUPERVISORY PURPOSES, NOT OTHERWISE PROVIDED FOR
    • G06Q50/00—Systems or methods specially adapted for specific business sectors, e.g. utilities or tourism
    • G06Q50/01—Social networking

Abstract

本公开的实施例涉及用于帖子推荐的方法、电子设备和计算机存储介质，涉及信息处理领域。根据该方法，获取与多个神经网络模型相关联的多个第一模型参数集；基于多个第一模型参数集，经由随机丢弃层，生成多个第二模型参数集；基于多个第二模型参数集，经由混合专家层，生成目标模型参数集；基于目标模型参数集以及与目标场景中的多个用户相关联的用户属性数据和帖子点击数据，训练目标神经网络模型，以生成经训练的目标神经网络模型和多个用户特征表示；以及基于多个用户特征表示，经由经训练的目标神经网络模型，预测关于用户针对帖子的点击概率，以用于推荐帖子。由此，能够实现多个场景的模型参数迁移到目标场景，提高了模型训练速度。

Description

用于帖子推荐的方法、电子设备和存储介质
技术领域
本公开的实施例总体涉及信息处理领域，具体涉及用于帖子推荐的方法、电子设备和计算机存储介质。
背景技术
随着技术的发展，利用大量数据来训练模型，以进行诸如个性化推荐，也变得比较流行。但是对于某些场景，其数据量可能并不多，基于这些场景下的少量数据训练的模型的使用效果不佳。
发明内容
提供了一种用于帖子推荐的方法、电子设备以及计算机存储介质，能够实现多个场景的模型参数迁移到目标场景，提高了目标场景中的模型训练速度和帖子推荐准确度。
根据本公开的第一方面，提供了一种用于数据项推荐的方法。该方法包括：获取与多个神经网络模型相关联的多个第一模型参数集，多个神经网络模型应用于多个场景；基于多个第一模型参数集，经由随机丢弃层，生成多个第二模型参数集；基于多个第二模型参数集，经由混合专家层，生成目标模型参数集；基于目标模型参数集以及与目标场景中的多个用户相关联的用户属性数据和帖子点击数据，训练目标神经网络模型，以生成经训练的目标神经网络模型和与多个用户相关联的多个用户特征表示；以及基于多个用户特征表示，经由经训练的目标神经网络模型，预测关于目标场景中用户针对帖子的点击概率，以用于在目标场景中基于所述点击概率向用户推荐帖子。
根据本公开的第二方面，提供了一种电子设备。该电子设备包括：至少一个处理器，以及与至少一个处理器通信连接的存储器，其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据第一方面所述的方法。
在本公开的第三方面中，提供了一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现根据本公开的第一方面的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
结合附图并参考以下详细说明，本公开各实施例的上述和其他特征、优点及方面将变得更加明显。在附图中，相同或相似的附图标注表示相同或相似的元素。
图1是根据本公开的实施例的信息处理环境100的示意图。
图2是根据本公开的实施例的用于帖子推荐的方法200的示意图。
图3是根据本公开的实施例的用于获取与多个神经网络模型相关联的多个第一模型参数集的方法300的示意图。
图4是根据本公开的实施例的用于生成目标模型参数集的方法400的示意图。
图5是根据本公开的实施例的用于生成多个门控值的方法500的示意图。
图6是根据本公开的实施例的循环神经网络单元600的示意框图。
图7是根据本公开的实施例的混合专家层700的示意框图。
图8是用来实现本公开实施例的用于帖子推荐的方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在本文中使用的术语“包括”及其变形表示开放性包括，即“包括但不限于”。除非特别申明，术语“或”表示“和/或”。术语“基于”表示“至少部分地基于”。术语“一个示例实施例”和“一个实施例”表示“至少一个示例实施例”。术语“另一实施例”表示“至少一个另外的实施例”。术语“第一”、“第二”等等可以指代不同的或相同的对象。下文还可能包括其他明确的和隐含的定义。
如上所述，传统方案对于少量数据的场景训练的模型效果不佳。如何利用应用于具有大量数据的多个场景的多个神经网络模型的参数来训练具有少量数据的目标场景的目标神经网络模型是需要解决的问题，从而提高目标神经网络模型的训练速度和效果。
为了至少部分地解决上述问题以及其他潜在问题中的一个或者多个，本公开的示例实施例提出了一种用于帖子推荐的方案。在该方案中，计算设备获取与多个神经网络模型相关联的多个第一模型参数集，多个神经网络模型应用于多个场景。计算设备基于多个第一模型参数集，经由随机丢弃层，生成多个第二模型参数集，以及基于多个第二模型参数集，经由混合专家层，生成目标模型参数集。计算设备基于目标模型参数集以及与目标场景中的多个用户相关联的用户属性数据和帖子点击数据，训练目标神经网络模型，以生成经训练的目标神经网络模型和与多个用户相关联的多个用户特征表示。随后计算设备基于多个用户特征表示，经由经训练的目标神经网络模型，预测关于目标场景中用户针对帖子的点击概率，以用于在目标场景中基于所述点击概率向用户推荐帖子。以此方式，能够实现多个场景的模型参数迁移到目标场景，提高了目标场景中的模型训练速度和帖子推荐准确度。
在下文中，将结合附图更详细地描述本方案的具体示例。
图1示出了根据本公开的实施例的信息处理环境100的示例的示意图。信息处理环境100可以包括计算设备110、多个场景120120-1至120-3(统称为120)、应用与多个场景120的多个神经网络模型130-1至130-3(统称为130)、目标场景140和目标神经网络模型150。应当理解，虽然图1中示出了3个场景和3个神经网络模型，但这只是举例说明，也可以包括更多或更少场景和神经网络模型，本公开的范围在此不受限制。
计算设备110例如包括但不限于服务器计算机、多处理器系统、大型计算机、包括上述系统或设备中的任意一个的分布式计算环境等。在一些实施例中，计算设备110可以具有一个或多个处理单元，包括诸如图像处理单元GPU、现场可编程门阵列FPGA和专用集成电路ASIC等的专用处理单元以及诸如中央处理单元CPU的通用处理单元。
计算设备110用于获取与多个神经网络模型130相关联的多个第一模型参数集，多个神经网络模型130应用于多个场景120；基于多个第一模型参数集，经由随机丢弃层，生成多个第二模型参数集；基于多个第二模型参数集，经由混合专家层，生成目标模型参数集；基于目标模型参数集以及与目标场景150中的多个用户相关联的用户属性数据和帖子点击数据，训练目标神经网络模型140，以生成经训练的目标神经网络模型140和与多个用户相关联的多个用户特征表示；以及基于多个用户特征表示，经由经训练的目标神经网络模型140，预测关于目标场景150中用户针对帖子的点击概率，以用于在目标场景150中基于所述点击概率向用户推荐帖子。
由此，能够实现多个场景的模型参数迁移到目标场景，提高了目标场景中的模型训练速度和帖子推荐准确度。
图2示出了根据本公开的实施例的用于帖子推荐的方法200的流程图。例如，方法200可以由如图1所示的计算设备110来执行。应当理解的是，方法200还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框202处，计算设备110获取与多个神经网络模型130相关联的多个第一模型参数集，多个神经网络模型应用于多个场景120。
多个场景120例如包括但不限于多个社交场景。例如，相同应用中可以包括不同社交广场，例如推荐广场，地理广场，标签广场等。多个场景120可以包括用户流量相对较高的至少一个场景，例如推荐广场。
多个神经网络模型130例如可以包括但不限于多个推荐模型。
在框204处，计算设备110基于多个第一模型参数集，经由随机丢弃层，生成多个第二模型参数集。
具体来说，随机丢弃层(dropout)可以以一定概率使得神经元失活，也就是输出为0。例如，可以通过伯努利函数随机生成包括0和1的矩阵，将这个矩阵与多个第一模型参数集进行计算后，生成多个第二模型参数集。
由此，能够通过随机丢弃层解决过拟合问题并提高模型泛化能力。
在框206处，计算设备110基于多个第二模型参数集，经由混合专家层(Mixture ofExperts，MoE)，生成目标模型参数集。
图7示出了根据本公开实施例的混合专家层700的示意框图。如图7所示，混合专家层700包括门控网络720和多个专家层730-1至730-n。门控网络720基于输入数据710，生成两个非零门控值740-1和740-2。与这两个非零门控值相对应的专家层730-2和730-n-1基于输入数据710，输出两个预测结果750-1和750-2。预测结果750-1与非零门控值740-1经由乘法单元760-1相乘得到第一乘积770-1，预测结果750-2与非零门控值740-2经由第二乘法单元760-2相乘得到第二乘积770-2，第一乘积770-1和第二乘积770-2经由加法单元780相加后得到混合专家层700的输出790。应当理解，图中示出2个非零门控值、两个专家层以及两个乘法单元参与计算仅是示例，可以是涉及更多数量。下文将结合图4详细描述用于生成目标模型参数集的方法。
在框208处，计算设备110基于目标模型参数集以及与目标场景140中的多个用户相关联的用户属性数据和帖子点击数据，训练目标神经网络模型150，以生成经训练的目标神经网络模型150和与多个用户相关联的多个用户特征表示。
目标场景140例如包括但不限于用户流量相对较低的场景，例如关注广场。
在一些实施例中，目标模型参数集可以包括嵌入层参数和输出层参数。嵌入层参数例如可以表示为嵌入矩阵，输出层参数例如可以表示为输出矩阵。计算设备110可以通过重复以下步骤来训练目标神经网络模型150，直至目标神经网络模型150收敛。
首先，计算设备110基于用户属性数据和嵌入层参数，生成多个用户特征表示。
例如，首先将用户属性数据通过one hot编码转换成多个初始特征表示，再将多个初始特征表示与嵌入层参数进行矩阵乘法，生成多个用户特征表示。用户属性数据例如包括但不限于用户标识、用户年龄、用户住所、用户标签等。
随后，计算设备110基于多个用户特征表示和输出层参数，生成与多个用户相关联的预测帖子点击概率集。
接着，计算设备110基于帖子点击数据、预测帖子点击概率集和预定损失函数，经由梯度下降，更新目标模型参数集。如果目标模型参数集的更新值集满足预定收敛条件(例如任一更新值均小于预定值)，则目标神经网络模型150收敛，从而得到经训练的目标神经网络模型150和多个用户特征表示，否则回到上面重新生成多个用户特征表示。
在框210处，计算设备110基于多个用户特征表示，经由经训练的目标神经网络模型150，预测关于目标场景140中用户针对帖子的点击概率，以用于在目标场景140中基于点击概率向用户推荐帖子。
在一些实施例中，目标神经网络模型150可以包括推荐模型。推荐模型可以采用任何合适的推荐模型，例如包括但不限于wide&deep模型。例如，将多个用户特征表示输入到wide&deep模型，应当理解wide&deep模型也可以输入其他的特征，本公开的实施例对此不做限制。通过联合训练，得到关于用户针对帖子的点击概率。wide模型例如y＝wT[x，φ(x)]+b其中x和φ(x)表示原始特征与叉乘特征。Deep模型采用前馈神经网络，每一层隐层计算例如al+1＝f(Wlal+bl)，其中al，bl，Wl是第l层的激活值、偏置和权重，f是激活函数，例如ReLu。损失函数可以采用逻辑损失函数。
由此，能够实现多个场景的模型参数迁移到目标场景，提高了目标场景中的模型训练速度和帖子推荐准确度。
在一些实施例中，生成的多个用户特征表示可以用于多个神经网络模型130的训练。具体来说，计算设备110可以从多个用户中确定与多个场景120中的第一场景相关联的至少一个用户。
随后，计算设备110可以从多个用户特征表示获取与至少一个用户相关联的至少一个用户特征表示。
接着，计算设备110可以基于至少一个用户特征表示和第一场景中与至少一个用户相关联的帖子点击数据，训练多个神经网络模型中应用于第一场景的第一神经网络模型，以用于更新与第一神经网络模型相关联的第一模型参数集。
由此，能够通过用户特征表示共享，实现目标场景生成的用户特征表示也能用于其他场景的模型训练，实现协同，提高效率。
此外，计算设备110还可以基于至少一个用户特征表示，经由经训练的第一神经网络模型，预测关于第一场景中用户针对帖子的点击概率。
随后，计算设备110基于点击概率，在第一场景中向用户推荐帖子。
由此，能够通过用户特征表示共享，实现目标场景生成的用户特征表示也能用于其他场景的帖子推荐，实现协同，提高效率。
图3示出了根据本公开的实施例的用于获取与多个神经网络模型相关联的多个第一模型参数集的方法300的流程图。例如，方法300可以由如图1所示的计算设备110来执行。应当理解的是，方法300还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。对于与多个神经网络模型130中的每个神经网络模型，方法300可以包括以下步骤。
在框302处，计算设备110获取神经网络模型在多个时刻的多个第三模型参数集。
多个时刻可以是距离当前时刻预定时间窗口内的多个时刻，例如是按照预定时间间隔隔开的。预定时间窗口例如为1小时，预定时间间隔例如为10分钟。应当理解，这只是举例说明，本公开的范围在此不受限制。
对于多个时刻中的每个时刻，按照时间先后顺序，迭代执行以下步骤。
在框304处，计算设备110基于与该时刻的前一时刻相关联的先前隐含状态和与该时刻相关联的第三模型参数集，经由两个门控层，生成第一门控状态和第二门控状态。
应当理解，对于与最早时刻相关联的第三模型参数集来说，由于不存在前一第三模型参数集，因此可以将先前隐含状态确定为随机化的隐含状态。
可以将先前隐含状态和与该时刻相关联的第三模型参数集进行拼接作为输入分别输入两个门控层。如图6所示，将先前隐含状态Ht-1和与时刻t相关联的第三模型参数集Xt经过拼接单元610后分别输入到第一门控单元620和第二门控单元630，得到第一门控状态Rt和第二门控状态Zt。
xinput＝concat[ht-1，xt]
其中，ht-1表示与前一时刻t-1相关联的先前隐含状态，xt表示与该时刻t相关联的第三模型参数集。
第一门控状态可以通过以下公式来生成。
rt＝σ(xinputWr+br)
其中，σ表示sigmoid函数，Wr，br是第一门控层的权重矩阵和偏置值。
第二门控状态可以通过以下公式来生成。
zt＝σ(xinputWz+b2)
其中，Wz，bz是第二门控层的权重矩阵和偏置值。
在框306处，计算设备110基于第一门控状态和先前隐含状态，生成经更新的先前隐含状态。
例如，可以通过计算第一门控状态和先前隐含状态之间的hadamard积(也就是按元素相乘)，也就是第一门控状态和先前隐含状态之间的对应元素相乘，生成经更新的先前隐含状态，例如rt⊙ht-1。如图6所示，第一门控单元620输出的第一门控状态Rt与先前隐藏状态Ht-1经过乘法单元640进行按元素相乘，得到经更新的先前隐含状态。
在框308处，计算设备110基于经更新的先前隐含状态和与该时刻相关联的第三模型参数集，生成候选隐含状态。
可通过以下公式来生成候选隐含状态。
Figure BDA0003261250800000091
其中，rt⊙ht-1表示经更新的先前隐含状态，Wh，bh表示权重矩阵和偏置值。
如图6所示，经更新的先前隐含状态和与时刻t相关联的第三模型参数集Xt经过拼接后的结果输入到候选隐含状态生成单元650，以得到候选隐含状态
Figure BDA0003261250800000092
在框310处，计算设备110基于先前隐含状态、候选隐含状态和第二门控状态，生成与该时刻相关联的隐含状态。
可以通过以下公式来生成与该时刻t相关联的隐含状态。
Figure BDA0003261250800000093
如图6所示，第二门控状态Zt经过单元670后生成(1-Zt)，随后与先前隐含状态Ht-1经过乘法单元680相乘得到第一结果，候选隐含状态
Figure BDA0003261250800000094
与第二门控状态Zt经过乘法单元660相乘得到第二结果，第一结果和第二结果经过加法单元690相加后得到与时刻t相关联的隐含状态Ht。
在框312处，计算设备110确定该时刻是否为多个时刻中的最后时刻。
如果在框312处计算设备110确定该时刻不是多个时刻中的最后时刻，则对于下一时刻，回到步骤304。
如果在框312处计算设备110确定该时刻是多个时刻中的最后时刻，则在框314处基于与最后时刻相关联的隐含状态，经由输出层，生成与神经网络模型相关联的第一模型参数集。
在一些实施例中，输出层可以为全连接层。
由此，能够有序获得其他场景分时段的模型参数，便于目标场景的模型训练更加平稳。
图4示出了根据本公开的实施例的用于生成目标模型参数集的方法400的流程图。例如，方法400可以由如图1所示的计算设备110来执行。应当理解的是，方法400还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框402处，计算设备110基于多个第二模型参数集，经由门控网络，生成多个门控值，多个门控值中包括预定数量个非零门控值。
下文结合图5详细说明用于生成多个门控值的方法。
在框404处，计算设备110基于多个第二模型参数集中与预定数量个非零门控值相对应的预定数量个第二模型参数集，经由预定数量个专家层，生成预定数量个预测模型参数集。
在一些实施例中，预定数量个专家层包括预定数量个全连接层。
在框406处，计算设备110基于预定数量个非零门控值和预定数量个预测模型参数集，生成目标模型参数集。
例如可以将预定数量个非零门控值和预定数量个预测模型参数集通过加权方式生成目标模型参数集。
由此，无需计算门控值为零的专家层运算，从而减少了计算量。
图5示出了根据本公开的实施例的用于生成多个门控值的方法500的流程图。例如，方法500可以由如图1所示的计算设备110来执行。应当理解的是，方法500还可以包括未示出的附加框和/或可以省略所示出的框，本公开的范围在此方面不受限制。
在框502处，计算设备110基于多个第二模型参数集和门控权重矩阵，生成多个第一值。
在框504处，计算设备110基于多个第二模型参数集和噪声权重矩阵，生成多个第二值。
在框506处，计算设备110基于多个第一值和多个第二值，生成多个候选门控值。
可以通过以下公式来生成候选门控值。
H(x)i＝(x·Wg)i+StandardNormal()·Softplus((x·Wnoise)i)
其中，x表示多个第二模型参数集，Wg表示门控权重矩阵，x·Wg表示多个第一值，Wnoise表示噪声权重矩阵，x·Wnoise表示多个第二值，StandardNormal表示标准正态分布，Softplus为激活函数，H(x)i表示第i个候选门控值。
在框508处，计算设备110将多个候选门控值中不位于前预定数量位的候选门控值设置为预定值。
例如可以通过以下公式来实现。
Figure BDA0003261250800000111
K为预定数量，例如为2，预定值例如为负无穷大。
在框510处，计算设备110基于多个候选门控值，经由预定激活函数，生成多个门控值，预定激活函数将被设置为预定值的候选门控值转换为值为零的门控值。
可通过如下公式来生成门控值。
G(x)＝Softmax(KeepTopK(H(x)，k))
Softmax将候选门控值转换到位于0到1的范围内的门控值，对于负无穷大的候选门控值而言，其被转换为0的门控值。
由此，能够实现稀疏化的门控，从而减少计算量。
图8示出了可以用来实施本公开内容的实施例的示例设备800的示意性框图。例如，如图1所示的计算设备110可以由设备800来实施。如图所示，设备800包括中央处理单元(CPU)801，其可以根据存储在只读存储器(ROM)802中的计算机程序指令或者从存储单元808加载到随机存取存储器(RAM)803中的计算机程序指令，来执行各种适当的动作和处理。在随机存取存储器803中，还可存储设备800操作所需的各种程序和数据。中央处理单元801、只读存储器802以及随机存取存储器803通过总线804彼此相连。输入/输出(I/O)接口805也连接至总线804。
设备800中的多个部件连接至输入/输出接口805，包括：输入单元806，例如键盘、鼠标、麦克风等；输出单元807，例如各种类型的显示器、扬声器等；存储单元808，例如磁盘、光盘等；以及通信单元809，例如网卡、调制解调器、无线通信收发机等。通信单元809允许设备800通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
上文所描述的各个过程和处理，例如方法200-500，可由中央处理单元801执行。例如，在一些实施例中，方法200-500可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元808。在一些实施例中，计算机程序的部分或者全部可以经由只读存储器802和/或通信单元809而被载入和/或安装到设备800上。当计算机程序被加载到随机存取存储器803并由中央处理单元801执行时，可以执行上文描述的方法200-500的一个或多个动作。
本公开涉及方法、装置、系统、电子设备、计算机可读存储介质和/或计算机程序产品。计算机程序产品可以包括用于执行本公开的各个方面的计算机可读程序指令。
计算机可读存储介质可以是可以保持和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质例如可以是--但不限于--电存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或者上述的任意合适的组合。计算机可读存储介质的更具体的例子(非穷举的列表)包括：便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(EPROM或闪存)、静态随机存取存储器(SRAM)、便携式压缩盘只读存储器(CD-ROM)、数字多功能盘(DVD)、记忆棒、软盘、机械编码设备、例如其上存储有指令的打孔卡或凹槽内凸起结构、以及上述的任意合适的组合。这里所使用的计算机可读存储介质不被解释为瞬时信号本身，诸如无线电波或者其他自由传播的电磁波、通过波导或其他传输媒介传播的电磁波(例如，通过光纤电缆的光脉冲)、或者通过电线传输的电信号。
这里所描述的计算机可读程序指令可以从计算机可读存储介质下载到各个计算/处理设备，或者通过网络、例如因特网、局域网、广域网和/或无线网下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光纤传输、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或者网络接口从网络接收计算机可读程序指令，并转发该计算机可读程序指令，以供存储在各个计算/处理设备中的计算机可读存储介质中。
用于执行本公开操作的计算机程序指令可以是汇编指令、指令集架构(ISA)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、或者以一种或多种编程语言的任意组合编写的源代码或目标代码，所述编程语言包括面向对象的编程语言—诸如Smalltalk、C++等，以及常规的过程式编程语言—诸如“C”语言或类似的编程语言。计算机可读程序指令可以完全地在用户计算机上执行、部分地在用户计算机上执行、作为一个独立的软件包执行、部分在用户计算机上部分在远程计算机上执行、或者完全在远程计算机或服务器上执行。在涉及远程计算机的情形中，远程计算机可以通过任意种类的网络—包括局域网(LAN)或广域网(WAN)—连接到用户计算机，或者，可以连接到外部计算机(例如利用因特网服务提供商来通过因特网连接)。在一些实施例中，通过利用计算机可读程序指令的状态信息来个性化定制电子电路，例如可编程逻辑电路、现场可编程门阵列(FPGA)或可编程逻辑阵列(PLA)，该电子电路可以执行计算机可读程序指令，从而实现本公开的各个方面。
这里参照根据本公开实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述了本公开的各个方面。应当理解，流程图和/或框图的每个方框以及流程图和/或框图中各方框的组合，都可以由计算机可读程序指令实现。
这些计算机可读程序指令可以提供给通用计算机、专用计算机或其它可编程数据处理装置的处理单元，从而生产出一种机器，使得这些指令在通过计算机或其它可编程数据处理装置的处理单元执行时，产生了实现流程图和/或框图中的一个或多个方框中规定的功能/动作的装置。也可以把这些计算机可读程序指令存储在计算机可读存储介质中，这些指令使得计算机、可编程数据处理装置和/或其他设备以特定方式工作，从而，存储有指令的计算机可读介质则包括一个制造品，其包括实现流程图和/或框图中的一个或多个方框中规定的功能/动作的各个方面的指令。
也可以把计算机可读程序指令加载到计算机、其它可编程数据处理装置、或其它设备上，使得在计算机、其它可编程数据处理装置或其它设备上执行一系列操作步骤，以产生计算机实现的过程，从而使得在计算机、其它可编程数据处理装置、或其它设备上执行的指令实现流程图和/或框图中的一个或多个方框中规定的功能/动作。
附图中的流程图和框图显示了根据本公开的多个实施例的系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或指令的一部分，所述模块、程序段或指令的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。在有些作为替换的实现中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
以上已经描述了本公开的各实施例，上述说明是示例性的，并非穷尽性的，并且也不限于所披露的各实施例。在不偏离所说明的各实施例的范围和精神的情况下，对于本技术领域的普通技术人员来说许多修改和变更都是显而易见的。本文中所用术语的选择，旨在最好地解释各实施例的原理、实际应用或对市场中的技术的技术改进，或者使本技术领域的其它普通技术人员能理解本文披露的各实施例。

Claims (9)

1.一种用于帖子推荐的方法，包括：
获取与多个神经网络模型相关联的多个第一模型参数集，所述多个神经网络模型应用于多个场景；
基于所述多个第一模型参数集，经由随机丢弃层，生成多个第二模型参数集；
基于多个第二模型参数集，经由混合专家层，生成目标模型参数集；
基于所述目标模型参数集以及与目标场景中的多个用户相关联的用户属性数据和帖子点击数据，训练目标神经网络模型，以生成经训练的目标神经网络模型和与所述多个用户相关联的多个用户特征表示；以及
基于所述多个用户特征表示，经由经训练的目标神经网络模型，预测关于所述目标场景中用户针对帖子的点击概率，以用于在所述目标场景中基于所述点击概率向用户推荐帖子；
其中获取与多个神经网络模型相关联的多个第一模型参数集包括：
对于与所述多个神经网络模型中的每个神经网络模型，执行以下步骤：
获取所述神经网络模型在多个时刻的多个第三模型参数集；
对于所述多个时刻中的每个时刻，按照时间先后顺序，迭代执行以下步骤：
基于与所述时刻的前一时刻相关联的先前隐含状态和与所述时刻相关联的第三模型参数集，经由两个门控层，生成第一门控状态和第二门控状态；
基于所述第一门控状态和所述先前隐含状态，生成经更新的先前隐含状态；
基于经更新的先前隐含状态和所述时刻相关联的第三模型参数集，生成候选隐含状态；以及
基于所述先前隐含状态、所述候选隐含状态和所述第二门控状态，生成与所述时刻相关联的隐含状态；以及
基于与所述多个时刻中的最后时刻相关联的隐含状态，经由输出层，生成与所述神经网络模型相关联的第一模型参数集。
2.根据权利要求1所述的方法，其中生成所述目标模型参数集包括：
基于所述多个第二模型参数集，经由门控网络，生成多个门控值，所述多个门控值中包括预定数量个非零门控值；
基于所述多个第二模型参数集中与所述预定数量个非零门控值相对应的预定数量个第二模型参数集，经由所述预定数量个专家层，生成预定数量个预测模型参数集；以及
基于所述预定数量个非零门控值和所述预定数量个预测模型参数集，生成所述目标模型参数集。
3.根据权利要求2所述的方法，其中生成所述多个门控值包括：
基于所述多个第二模型参数集和门控权重矩阵，生成多个第一值；
基于所述多个第二模型参数集和噪声权重矩阵，生成多个第二值；
基于所述多个第一值和所述多个第二值，生成多个候选门控值；
将所述多个候选门控值中不位于前预定数量位的候选门控值设置为预定值；以及
基于所述多个候选门控值，经由预定激活函数，生成多个门控值，所述预定激活函数将被设置为所述预定值的候选门控值转换为值为零的门控值。
4.根据权利要求2所述的方法，其中所述预定数量个专家层包括预定数量个全连接层。
5.根据权利要求1所述的方法，其中所述目标模型参数集包括嵌入层参数和输出层参数，以及训练所述目标神经网络模型包括重复以下步骤直至所述目标神经网络模型收敛：
基于所述用户属性数据和所述嵌入层参数，生成多个用户特征表示；
基于所述多个用户特征表示和所述输出层参数，生成与所述多个用户相关联的预测帖子点击概率集；以及
基于所述帖子点击数据和所述预测帖子点击概率集，经由梯度下降，更新所述目标模型参数集。
6.根据权利要求5所述的方法，还包括：
从所述多个用户中确定与所述多个场景中的第一场景相关联的至少一个用户；
从所述多个用户特征表示获取与所述至少一个用户相关联的至少一个用户特征表示；以及
基于所述至少一个用户特征表示和所述第一场景中与所述至少一个用户相关联的帖子点击数据，训练所述多个神经网络模型中应用于所述第一场景的第一神经网络模型，以用于更新与所述第一神经网络模型相关联的第一模型参数集。
7.根据权利要求6所述的方法，还包括：
基于所述至少一个用户特征表示，经由经训练的第一神经网络模型，预测关于所述第一场景中用户针对帖子的点击概率；以及
基于所述点击概率，在所述第一场景中向用户推荐帖子。
8.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-7中任一项所述的方法。
9.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-7中任一项所述的方法。
CN202111073331.4A 2021-09-14 2021-09-14 用于帖子推荐的方法、电子设备和存储介质 Active CN113836438B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111073331.4A CN113836438B (zh) 2021-09-14 2021-09-14 用于帖子推荐的方法、电子设备和存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111073331.4A CN113836438B (zh) 2021-09-14 2021-09-14 用于帖子推荐的方法、电子设备和存储介质

Publications (2)

Publication Number Publication Date
CN113836438A CN113836438A (zh) 2021-12-24
CN113836438B true CN113836438B (zh) 2022-09-02

Family

ID=78959157

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111073331.4A Active CN113836438B (zh) 2021-09-14 2021-09-14 用于帖子推荐的方法、电子设备和存储介质

Country Status (1)

Country Link
CN (1) CN113836438B (zh)

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888498A (zh) * 2012-12-21 2014-06-25 腾讯科技（深圳）有限公司 信息推送方法、装置、终端及服务器
CN109614997A (zh) * 2018-11-29 2019-04-12 武汉大学 一种基于深度学习的窃电风险预测方法及装置
CN112561056A (zh) * 2020-12-07 2021-03-26 北京百度网讯科技有限公司 神经网络模型的训练方法、装置、电子设备和存储介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
RU2321064C2 (ru) * 2004-06-03 2008-03-27 Мурманский государственный технический университет Способ построения обратимой трехмерной гидродинамической модели земли, калибруемой в реальном времени в процессе бурения

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN103888498A (zh) * 2012-12-21 2014-06-25 腾讯科技（深圳）有限公司 信息推送方法、装置、终端及服务器
CN109614997A (zh) * 2018-11-29 2019-04-12 武汉大学 一种基于深度学习的窃电风险预测方法及装置
CN112561056A (zh) * 2020-12-07 2021-03-26 北京百度网讯科技有限公司 神经网络模型的训练方法、装置、电子设备和存储介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于CART算法的水文模型参数区域化研究;赵悬涛;《中国优秀博硕士学位论文全文数据库(硕士)基础科学辑》;20210115;第A012-45页 *

Also Published As

Publication number Publication date
CN113836438A (zh) 2021-12-24

Similar Documents

Publication Publication Date Title
CN113408743B (zh) 联邦模型的生成方法、装置、电子设备和存储介质
US20190156211A1 (en) Feature extraction using multi-task learning
US11416743B2 (en) Swarm fair deep reinforcement learning
EP4350572A1 (en) Method, apparatus and system for generating neural network model, devices, medium and program product
US11423307B2 (en) Taxonomy construction via graph-based cross-domain knowledge transfer
US20210042383A1 (en) Natural Language Processing Techniques for Generating a Document Summary
CN113822444A (zh) 模型训练及数据处理的方法、设备和计算机可读存储介质
CN113627536A (zh) 模型训练、视频分类方法，装置，设备以及存储介质
US20220207861A1 (en) Methods, devices, and computer readable storage media for image processing
WO2024051707A1 (zh) 训练推荐模型的方法、推荐资源的方法及其装置
CN116431597A (zh) 用于训练数据分类模型的方法、电子设备和计算机程序产品
US20200097811A1 (en) Reinforcement learning by sharing individual data within dynamic groups
CN112269875B (zh) 文本分类方法、装置、电子设备及存储介质
US20210118206A1 (en) Generating Concept Images of Human Poses Using Machine Learning Models
CN114581966A (zh) 用于信息处理的方法、电子设备和计算机程序产品
CN111090740B (zh) 一种用于对话系统的知识图谱生成方法
CN113836438B (zh) 用于帖子推荐的方法、电子设备和存储介质
CN111461862A (zh) 为业务数据确定目标特征的方法及装置
CN114792097B (zh) 预训练模型提示向量的确定方法、装置及电子设备
CN112084784A (zh) 预测语义角色标注的功能性标记
WO2021012263A1 (en) Systems and methods for end-to-end deep reinforcement learning based coreference resolution
JP2022518671A (ja) デュアル・ネットワークと共に訓練された主ネットワークを介した多目的タスクの実行
US20200242446A1 (en) Convolutional dynamic boltzmann machine for temporal event sequence
CN116030235A (zh) 目标检测模型训练方法、目标检测方法、装置和电子设备
US11741946B2 (en) Multiplicative integration in neural network transducer models for end-to-end speech recognition

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant