CN113656689B - 模型生成方法和网络信息的推送方法 - Google Patents

模型生成方法和网络信息的推送方法 Download PDF

Info

Publication number
CN113656689B
CN113656689B CN202110931758.7A CN202110931758A CN113656689B CN 113656689 B CN113656689 B CN 113656689B CN 202110931758 A CN202110931758 A CN 202110931758A CN 113656689 B CN113656689 B CN 113656689B
Authority
CN
China
Prior art keywords
network
output
head attention
task
network information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110931758.7A
Other languages
English (en)
Other versions
CN113656689A (zh
Inventor
葛利
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Baidu Netcom Science and Technology Co Ltd
Original Assignee
Beijing Baidu Netcom Science and Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Baidu Netcom Science and Technology Co Ltd filed Critical Beijing Baidu Netcom Science and Technology Co Ltd
Priority to CN202110931758.7A priority Critical patent/CN113656689B/zh
Publication of CN113656689A publication Critical patent/CN113656689A/zh
Application granted granted Critical
Publication of CN113656689B publication Critical patent/CN113656689B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/90—Details of database functions independent of the retrieved data types
    • G06F16/95—Retrieval from the web
    • G06F16/953—Querying, e.g. by the use of web search engines
    • G06F16/9535—Search customisation based on user profiles and personalisation
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Databases & Information Systems (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biomedical Technology (AREA)
  • General Health & Medical Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Health & Medical Sciences (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Evolutionary Computation (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Image Analysis (AREA)
  • Information Transfer Between Computers (AREA)

Abstract

本公开提供了模型生成方法和网络信息的推送方法，涉及人工智能技术领域中的智能搜索、深度学习及大数据技术领域。包括：将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征，针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征，针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型，以提高网络信息推送的灵活性和多样性。

Description

模型生成方法和网络信息的推送方法
技术领域
本公开涉及人工智能技术领域中的智能搜索、深度学习及大数据技术领域，尤其涉及一种模型生成方法和网络信息的推送方法。
背景技术
随着人工智能技术和互联网技术地发展，网络信息的数量急剧增加，网络信息的推送模型基于用户对网络信息的获取需求应运而生。其中，网络信息包括新闻、资讯和视频等。
在相关技术中，通常采用的生成推送模型的方法为：基于用户的不同推送需求，生成满足与每一推送需求各自对应的推送模型，例如，某些用户在观看视频时，希望为其推送的视频为点击率相对较高的视频，即该用户的推送需求为点击率需求，相应地，为了满足用户的点击率需求，可以生成满足用户击率需求的推送模型。
然而，采用上述方法，生成的推送模型的应用场景单一，无法满足网络信息推送的多元化和灵活性。
发明内容
本公开提供了一种用于提高推送模型的多元化的网络信息的模型生成方法、网络信息的推送方法。
根据本公开的第一方面，提供了一种模型生成方法，包括：
将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
针对每一神经网络所输出的高阶特征，将该高阶特征输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征；
针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同的多头注意力网络的任务网络对应不同的推送需求；
基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
根据本公开的第二方面，提供了一种网络信息的推送方法，包括：
获取用户的推送请求，所述推送请求中携带目标特征，其中，所述目标特征用于表征用户对网络信息的目标推送需求；
将所述目标特征输入至预先生成的推送模型，得到目标网络信息，并将所述目标网络信息推送给用户，其中，所述推送模型包括多个任务网络，不同的任务网络对应不同的推送需求。
根据本公开的第三方面，提供了一种模型生成装置，包括：
第一输入单元，用于将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
第二输入单元，用于针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征；
传输单元，用于针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同多头注意力网络的任务网络对应不同的推送需求；
调整单元，用于基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
根据本公开的第四方面，提供了一种网络信息的推送装置，包括：
获取单元，用于获取用户的推送请求，所述推送请求中携带目标特征，其中，所述目标特征用于表征用户对网络信息的目标推送需求；
第三输入单元，用于将所述目标特征输入至预先生成的推送模型，得到目标网络信息，其中，所述推送模型包括多个任务网络，不同的任务网络对应不同的推送需求；
推送单元，用于将所述目标网络信息推送给用户。
根据本公开的第五方面，提供了一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行第一方面所述的方法；或者，以使所述至少一个处理器能够执行第二方面所述的方法。
根据本公开的第六方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行第一方面所述的方法；或者，所述计算机指令用于使所述计算机执行第二方面所述的方法。
根据本公开的第七方面，提供了一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面所述的方法；或者，所述至少一个处理器执行所述计算机程序使得电子设备执行第二方面所述的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开第一实施例的示意图；
图2是根据本公开模型生成方法的原理示意图；
图3是根据本公开第二实施例的示意图；
图4是多头注意力网络的部分结构示意图
图5是根据本公开第三实施例的示意图；
图6是根据本公开第四实施例的示意图；
图7是本实施例提供的网络信息的推送方法的原理示意图；
图8是根据本公开第五实施例的示意图；
图9是根据本公开第六实施例的示意图；
图10是根据本公开第七实施例的示意图；
图11是根据本公开第八实施例的示意图；
图12是用来实现本公开实施例的模型生成方法、网络信息的推送方法的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
网络信息是指，在互联网上运用网络技术发布的信息，包括新闻、资讯、视频、虚拟物品等。
随着网络信息在数量上以及在类别上的增加，用户相对需要花费更多的时间和精力从海量的网络信息中，查找翻阅满足自己需求的网络信息。而随着人工智能技术的发展，可以基于人工智能技术为用户推送网络信息，且通常采用生成推送模型的方式实现。
例如，可以确定用户的各推送需求，并分别生成与每一推送需求对应的推送模型，以便在为用户进行网络信息的推送时，从各推送模型中确定与用户的推送需求对应的推送模型，并基于该确定出的推送模型确定为用户推送的网络信息，以便将该网络信息推送给用户，从而满足不同用户的推送需求。
其中，推送需求包括点击率需求、访问量需求、关注量需求、来源需求、以及内容关键字需求等，此处不再一一列举。
然而，一方面，基于上述方法对生成得到的各推送模型的应用场景单一，如不同推送需求的推送模型之间不可以适用，从而导致网络信息的推送缺乏多元化和灵活性的技术问题；另一方面，各推送模型之间相互独立，需要对各推送模型进行独立的维护和更新，导致维护和更新成本偏高等技术问题。
为了避免上述技术问题中的至少一种，本公开的发明人经过创造性地劳动，得到了本公开实施例的发明构思：结合多个任务网络，生成满足不同推送需求的网络信息的推送模型。
基于上述发明构思，本公开提供一种模型生成方法、网络信息的推送方法，应用于人工智能技术领域中的智能搜索、深度学习及大数据技术领域，以达到网络信息推送的灵活性和多样性。
图1是根据本公开第一实施例的示意图，本实施例提供的模型生成方法包括：
S101：将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征。
示例性地，本实施例的执行主体可以为模型生成装置，模型生成装置可以为服务器(如本地服务器，或者，云端服务器)，也可以为计算机，也可以为终端设备，也可以为处理器，也可以为芯片等，本实施例不做限定。
应该理解地是，用于生成推送模型的样本网络信息的数量可以由模型生成装置基于需求、历史记录、以及试验等方法进行确定，本实施例不做限定。
例如，若对推送模型的精度要求相对较高，则可以适当增加用于生成推送模型的样本网络信息的数量；反之，若对推送模型的精度要求相对较低，则可以适当减少用于生成推送模型的样本网络信息的数量。
其中，样本网络信息的特征包括：样本网络信息在数值上的数值特征，和/或，样本网络信息在类别上的类别特征。
可选地，数值特征可以为样本网络信息被访问而得到的访问量、点击量等特征，也可以为样本网络信息本身如视频长度(如果网络信息为视频时)和语料长度(如果网络信息为新闻或者资讯等时)等特征。
类别特征可以为样本网络信息的属性类别特征，如标签、频道、以及语言等特征，也可以为访问样本网络信息的用户的属性特征，如地域、性别、是否单身、以及兴趣等特征。
高阶特征是指，在由神经网络对样本网络信息的特征进行处理之后得到的神经网络信息的特征，相对于样本网络信息的特征，高阶特征的维度更高。例如，若样本网络信息的特征为二维特征，则高阶特征可以为三维特征。
在本实施例中，神经网络的数量可以基于需求、历史记录、以及试验等方式进行确定，各神经网络可以组成专家网络系统，每一神经网络可以为专家网络系统中的一个专家(expert)网络，且每一专家(expert)网络具体可以为前馈神经网络。
示例性地，图2是根据本公开模型生成方法的原理示意图，如图2所示，神经网络的数量为N(N为大于等于2的正整数)个，样本网络信息的特征被输入至神经网络1至神经网络N，相应地，神经网络1输出高阶特征1，神经网络2输出高阶特征2，依次类推，神经网络N输出高阶特征N。
S102：针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征。
S103：针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值。
其中，对应不同多头注意力网络的任务网络对应不同的推送需求。本实施例对任务网络的基本框架不做限定，如卷积神经网络等。
输出特征是基于多头注意力网络输出的，相对样本网络信息的特征和高阶特征而言，输出特征能够更加准确的表征样本网络信息的特征和高阶特征中被用户所关注(或者感兴趣)的特征，即输出特征用于表征用户关注度较高的样本网络信息的特征，或者，输出特征用于表征用户对于样本网络信息的特征中的兴趣点的特征。
示例性地，多头注意力(multi head attention)网络和任务网络的数量均为多个，各多头注意力网络可以组成注意力(attention)机制网络。且多头注意力网络与任务网络为一一对应关系，即一个多头注意力网络对应一个任务网络，任务网络的数量基于推送需求的数量确定，一个推送需求对应一个任务网络。
结合图2可知，多头注意力网络的数量为M(M为大于等于2的正整数)个，且分别为多头注意力网络1至多头注意力网络M。相应地，任务网络的数量也为M个，且分别为任务网络1至任务网络M。
将高阶特征1至高阶特征N输入至多头注意力网络1，得到输出特征1，并将高阶特征1至高阶特征N输入至多头注意力网络2，得到输出特征2，以此类推，直至将高阶特征1至高阶特征N输入至多头注意力网络M，得到输出特征M。
相应地，输出特征1被输入至任务网络1，得到损失值1，输出特征2被输入至任务网络2，得到损失值2，以此类推，输出特征M被输入至任务网络M，得到损失值M。
关于计算损失值的实现原理，可以参见相关技术，此处不再赘述。
S104：基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
基于上述分析可知，本公开实施例提供了一种模型生成方法，包括：将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征，针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征，针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同多头注意力网络的任务网络对应不同的推送需求，基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型，引入了：针对每一多头注意力网络，由该多头注意力网络根据各神经网络输入的高阶特征输出相应的输出特征，该多头注意力网络将其输出的输出特征输入给与其对应的任务网络，以基于各任务网络各自对应的损失值对各多头注意力网络的参数和各神经网络的参数进行调整，从而得到推送模型，由于不同的任务网络具有不同的推送需求，因此，推送模型可以应用于不同推送需求的网络信息的推送场景，提高了网络信息推送的灵活性和多样性的技术效果。
图3是根据本公开第二实施例的示意图，本实施例提供的模型生成方法包括：
S301：对获取到的样本网络信息进行特征提取，得到样本网络信息的特征。
其中，样本网络信息的特征表征样本网络信息在数值上和/或类别上的特征。
S302：对样本网络信息的特征进行编码处理，得到编码结果，并将编码结果输入至每一神经网络，得到各神经网络所输出的高阶特征。
例如，基于上述实施例，若样本网络信息的特征包括数值特征和类别特征，则在编码结果中，包括数值特征的编码结果，也包括类别特征的编码结果，且数值特征的编码结果与类别特征的编码结果所表征的样本网络信息的特征的维度相同。
S303：针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，由该多头注意力网络对该高阶特征依次进行归一化处理和逻辑回归处理，得到网络信息中间特征。
请参阅图4，图4是多头注意力网络的部分结构示意图，如图4所示，多头注意力网络包括：两层归一化层(batch normalization)，为了方便描述，分别标注为如图4中的第一归一化层和第二归一化层；softmax逻辑回归层；多层感知机(MLP)层。
其中，第一归一化层对该高阶特征进行归一化处理，并将归一化处理的结果传输给softmax逻辑回归层，由softmax逻辑回归层对归一化处理的结果进行类别分类处理，如打标签处理，或者评分处理，从而得到网络信息中间特征。
S304：对网络信息中间特征和该高阶特征进行合并处理，得到第一网络信息合并特征。
在本实施例中，通过对网络信息中间特征和高阶特征进行合并处理，以避免在得到网络信息中间特征的过程中，丢失高阶特征中的信息，以提高样本网络信息的特征的完整性和全面性，从而提高生成推送模型的可靠性。
S305：将第一网络信息合并特征依次进行归一化处理和特征重组处理，得到重组特征，并将重组特征和由该多头注意力网络所输出的网络信息中间特征进行合并处理，得到该多头注意力网络所输出的输出特征。
例如，结合上述实施例和图4，基于第二归一化层对第一网络信息合并特征进行归一化处理，由多层感知机(MLP)层对归一化处理后的特征进行特征重组处理，得到重组特征。
同理，在本实施例中，通过对重组特征和网络信息中间特征进行合并处理，可以提高样本网络信息的特征的完整性和全面性，从而提高生成推送模型的可靠性。
S306：将样本网络信息的特征与该多头注意力网络所输出的输出特征进行合并处理，得到第二网络信息合并特征，并将第二网络信息合并特征传输给与该多头注意力网络对应的任务网络模型，得到该任务网络的损失值。
例如，结合上述实施例和图2，则模型生成装置可以对样本网络信息的特征和输出特征1进行合并处理，得到第二网络信息合并特征1，且将第二网络信息合并特征1输入至任务网络1，从而得到损失值1，以此类推，模型生成装置对样本网络信息的特征和输出特征M进行合并处理，得到第二网络信息合并特征M，并将第二网络信息合并特征M输入至任务网络M，从而得到损失值M。
值得说明地是，在本实施例中，通过将样本网络信息的特征与输出特征进行合并处理，可以使得得到第二网络信息合并特征中，既有样本网络信息经过系列处理后的特征(即输出特征)，也可以保留未处理前样本网络信息的原始的特征(即样本网络信息的特征)，从而使得第二网络信息合并特征能够较为准确和完整的对样本网络信息的特征进行表征，以提高生成推送模型的准确性和可靠性的技术效果。
值得说明地是，在另一些实施例中，针对多头注意力网络所输出的输出特征的确定，可以对由该多头注意力网络输出的网络信息中间特征，依次进行归一化处理和特征重组处理，从而得到该多头注意力网络所输出的输出特征。
在一些实施例中，与输出特征进行合并处理的特征可以为整体的样本网络信息的特征，也可以为样本网络信息的特征中的部分特征。
例如，结合上述实施例，样本网络信息的特征可以包括数值特征和类别特征，相应地，可以将数值特征、类别特征、以及输出特征进行合并处理，也可以将数值特征与输出特征进行合并处理，也可以将类别特征与输出特征进行合并处理。
在一些实施例中，若样本网络信息的特征中包括多种表征样本网络信息的特征，则可以从多种表征样本网络信息的特征中，选择相对最能表征样本网络信息的特征(可以为一个，也可以为多个)与输出特征进行合并处理。
在另一些实施例中，若样本网络信息的特征中包括多种表征样本网络信息的特征，则可以针对不同任务网络的不同推送需求，从多种表征样本网络信息的特征中确定与输出特征进行合并的特征。
例如，结合上述实施例和图2，多头注意力网络1与任务网络1对应，任务网络具有的推送需求为点击率需求，则可以将数值特征与输出特征1进行合并处理。
S307：基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
在一些实施例中，S307可以包括如下步骤：
第一步骤：确定各损失值之间的差异信息。
例如，可以通过确定各损失值的方差，并基于方差确定差异信息。
第二步骤：判断差异信息是否大于预设的差异阈值，若是，则执行第三步骤，若否，则执行第五步骤。
第三步骤：确定各任务网络之间的同方差不确定性信息(homoscedasticuncertainty)，并根据同方差不确定性信息为每一损失值分配权值。
也就是说，在本实施例中，采用衡量损失的不确定性(uncertainty to weighlosses)的方法为每一损失值分配权值，可以提升推送模型的泛化能力和表现能力的技术效果。
第四步骤：根据每一损失值以及每一损失值的各权重，对各神经网络的参数中的超参数和各多头注意力网络的参数中的超参数进行调整。
第五步骤：对各损失值进行相加，得到相加后的损失值。
第六步骤：根据相加后的损失值对各神经网络的参数中的超参数和各多头注意力网络的参数中的超参数进行调整。
其中，参数的调整具体对超参数的调整，超参数是指在生成推送模型之前，为网络设置的参数，即调整的为在生成推送模型之前为神经网络设置的参数、以及在生成推送模型之前为多头注意力网络设置的参数。
值得说明地是，在本实施例中，通过结合差异信息与差异阈值之间的大小比对结果，采用不同的方法对各神经网络模型的参数、各多头注意力网络的参数进行调整，可以实现对参数的调整的多样性和灵活性的技术效果。
图5是根据本公开第三实施例的示意图，本实施例提供的网络信息的推送方法包括：
S501：获取用户的推送请求，推送请求中携带目标特征。
其中，目标特征用于表征用户对网络信息的目标推送需求。
示例性地，本实施例的执行主体可以为网络信息的推送装置(简称推送装置)，推送装置可以为与模型生成装置相同的装置，也可以为不同的装置，本实施例不做限定。
S502：将目标特征输入至预先生成的推送模型，得到目标网络信息，并将目标网络信息推送给用户。
其中，推送模型包括多个任务网络，不同的任务网络对应不同的推送需求。推送模型是基于上述任一实施例所述的方法生成的。
值得说明地是，在本实施例中，通过基于包括多个网络任务的推送模型为用户推送目标网络信息，可以实现满足不同的用户的推送需求，实现推送的灵活性和多样性的技术效果。
图6是根据本公开第四实施例的示意图，本实施例提供的网络信息的推送方法包括：
S601：获取用户的推送请求，推送请求中携带目标特征。
其中，目标特征用于表征用户对网络信息的目标推送需求。
结合上述分析可知，推送模型包括多个神经网络、多个多头注意力网络、以及多个任务网络，一个任务网络对应一个多头注意力网络，不同的任务网络对应不同的推送需求。
S602：将目标特征输入每一神经网络，得到各神经网络所输出的高阶特征。
S603：将每一神经网络所输出的高阶特征，均输入至与目标任务网络对应的多头注意力网络，得到该多头注意力网络所输出的输出特征。
其中，目标任务网络对应目标推送需求。
在一些实施例中，S603包括如下步骤：
第一步骤，基于该多头注意力网络，对各神经网络输出的高阶特征依次进行归一化处理和逻辑回归处理，得到目标网络信息中间特征。
第二步骤，根据目标网络信息中间特征确定该多头注意力网络所输出的输出特征。
在一些实施例中，第二步骤可以包括：对目标网络信息中间特征和各神经网络所输出的高阶特征进行合并处理，得到第三网络信息合并特征，并将第三网络信息合并特征依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
值得说明地是，上述第一步骤和第二步骤的实现原理，可以参见上述模型生成方法的实施例中地描述，此处不再赘述。
S604：将该多头注意力网络所输出的输出特征传输给目标任务网络，得到目标网络信息，并将目标网络信息推送给用户。
示例性地，图7是本实施例提供的网络信息的推送方法的原理示意图，如图7所示，推送模型包括：神经网络1直至神经网络N、多头注意力网络1直至多头注意力网络M、以及任务网络1直至任务网络M，一个任务网络对应一个多头注意力网络，如图7中，多头注意力网络1与任务网络1对应，多头注意力网络2与任务网络2对应，以此类推，多头注意力网络M与任务网络M对应。
若接收装置获取到的目标特征包括：由用户1通过终端设备1发送的目标特征1、以及由用户2通过终端设备2发送的目标特征2。
则针对用户1的推送请求，推送装置可以基于确定目标特征1的目标推送需求1，从M个任务网络中确定用于为用户1做推送的任务网络1，并从M个多头注意力网络中确定与任务网络1对应的多头注意力网络1。
推送装置将目标特征1传输给每一神经网络(即分别传输给神经网络1直至神经网络N)，得到各神经网络所输出的高阶特征，将各神经网络所输出的高阶特征传输给多头注意力网络1，得到多头注意力网络1输出的输出特征，并将该输出特征传输给任务网络1，从而得到为用户1推送的目标网络信息1。
相应地，针对用户2的推送请求，推送装置可以基于确定目标特征2的目标推送需求2，从M个任务网络中确定用于为用户2做推送的任务网络M，并从M个多头注意力网络中确定与任务网络M对应的多头注意力网络M。
推送装置将目标特征2传输给各神经网络(即分别传输给神经网络1直至神经网络N)，得到各神经网络所输出的高阶特征，将各神经网络所输出的高阶特征传输给多头注意力网络M，得到多头注意力网络M所输出的输出特征，并将该输出特征传输给任务网络M，从而得到为用户2推送的目标网络信息2。
图8是根据本公开第五实施例的示意图，本实施例提供的网络信息的推送模型的模型生成装置800，包括：
第一输入单元801，用于将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征。
第二输入单元802，用于针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征。
传输单元803，用于针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同多头注意力网络的任务网络对应不同的推送需求。
调整单元804，用于基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
图9是根据本公开第六实施例的示意图，本实施例提供的网络信息的推送模型的模型生成装置900，包括：
第一输入单元901，用于将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征。
结合图9可知，在一些实施例中，第一输入单元901，包括：
提取子单元9011，用于对样本网络信息进行特征提取，得到样本网络信息的特征，样本网络信息的特征表征样本网络信息在数值上和/或类别上的特征。
编码子单元9012，用于对样本网络信息的特征进行编码处理，得到编码结果。
第一输入子单元9013，用于将编码结果输入至每一神经网络，得到各神经网络所输出的高阶特征。
第二输入单元902，用于针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征。
结合图9可知，在一些实施例中，第二输入单元902，包括：
第一处理子单元9021，用于针对输入至每一多头注意力网络的高阶特征，对该高阶特征依次进行归一化处理和逻辑回归处理，得到网络信息中间特征。
第一确定子单元9022，用于根据每一多头注意力网络输出的网络信息中间特征确定该多头注意力网络所输出的输出特征。
在一些实施例中，第一确定子单元9022用于，对由该多头注意力网络输出的网络信息中间特征，依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
在另一些实施例中，第一确定子单元9022，包括：
第一处理模块，用于对由该多头注意力网络输出的网络信息中间特征、以及输入至该多头注意力网络的高阶特征进行合并处理，得到第一网络信息合并特征。
第一确定模块，用于根据第一网络信息合并特征确定该多头注意力网络所输出的输出特征。
在一些实施例中，第一确定模块，包括：
第一处理子模块，用于将第一网络信息合并特征依次进行归一化处理和特征重组处理，得到重组特征。
第二处理子模块，用于将重组特征和由该多头注意力网络所输出的网络信息中间特征进行合并处理，得到该多头注意力网络所输出的输出特征。
传输单元903，用于针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同多头注意力网络的任务网络对应不同的推送需求。
结合图9可知，在一些实施例中，传输单元903，包括：
第二处理子单元9031，用于将样本网络信息的特征与该多头注意力网络所输出的输出特征进行合并处理，得到第二网络信息合并特征。
第一传输子单元9032，用于将第二网络信息合并特征传输给与该多头注意力网络对应的任务网络，得到该任务网络的损失值。
调整单元904，用于基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
在一些实施例中，调整单元904，包括：
第二确定子单元9041，用于确定各任务网络的损失值之间的差异信息；
获取子单元9042，用于若所述差异信息大于预设的差异阈值，则获取各任务网络之间的同方差不确定性信息；分配子单元9043，用于根据同方差不确定性信息为每一任务网络的损失值分配权值；第一调整子单元9044，用于根据每一任务网络的损失值以及每一任务网络的损失值的权值，对各神经网络的参数和各多头注意力网络的参数进行调整；和/或
相加子单元9045，用于若所述差异信息不大于预设的差异阈值，则对各任务网络的损失值进行相加，得到相加后的损失值；第二调整子单元9046，用于根据所述相加后的损失值对各神经网络的参数和各多头注意力网络的参数进行调整。
图10是根据本公开第七实施例的示意图，本实施例提供的网络信息的推送装置1000，包括：
获取单元1001，用于获取用户的推送请求，推送请求中携带目标特征，其中，目标特征用于表征用户对网络信息的目标推送需求。
第三输入单元1002，用于将目标特征输入至预先生成的推送模型，得到目标网络信息，其中，推送模型包括多个任务网络，不同的任务网络对应不同的推送需求。
推送单元1003，用于将目标网络信息推送给用户。
图11是根据本公开第八实施例的示意图，本实施例提供的网络信息的推送装置1100，包括：
获取单元1101，用于获取用户的推送请求，推送请求中携带目标特征，其中，目标特征用于表征用户对网络信息的目标推送需求。
第三输入单元1102，用于将目标特征输入至预先生成的推送模型，得到目标网络信息，其中，推送模型包括多个任务网络，不同的任务网络对应不同的推送需求。
其中，推送模型包括：多个神经网络、多个多头注意力网络、以及多个任务网络，一个任务网络对应一个多头注意力网络；结合图11可知，在一些实施例中，第三输入单元1102，包括：
第二输入子单元11021，用于将所述目标特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
第三输入子单元11022，用于将每一神经网络所输出的高阶特征，均输入至与目标任务网络对应的多头注意力网络，得到该多头注意力网络所输出的输出特征，目标任务网络对应所述目标推送需求。
在一些实施例中，第三输入子单元11022，包括：
第二处理模块，用于基于该多头注意力网络，对各神经网络所输出的高阶特征依次进行归一化处理和逻辑回归处理，得到目标网络信息中间特征。
第二确定模块，用于根据目标网络信息中间特征确定该多头注意力网络所输出的输出特征。
在一些实施例中，第二确定模块，包括：
第三处理子模块，用于对目标网络信息中间特征和各神经网络所输出的高阶特征进行合并处理，得到第三网络信息合并特征。
第四处理子模块，用于将第三网络信息合并特征依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
第二传输子单元11023，用于将该多头注意力网络所输出的输出特征传输给目标任务网络，得到目标网络信息。
推送单元1103，用于将目标网络信息推送给用户。
根据本公开的实施例，本公开还提供了一种电子设备和一种可读存储介质。
根据本公开的实施例，本公开还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，电子设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如模型生成方法、网络信息的推送方法。例如，在一些实施例中，模型生成方法、网络信息的推送方法可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM 1203并由计算单元1201执行时，可以执行上文描述的模型生成方法、网络信息的推送方法的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行模型生成方法、网络信息的推送方法。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、负载可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。服务器可以是云服务器，又称为云计算服务器或云主机，是云计算服务体系中的一项主机产品，以解决了传统物理主机与VPS服务("Virtual Private Server"，或简称"VPS")中，存在的管理难度大，业务扩展性弱的缺陷。服务器也可以为分布式系统的服务器，或者是结合了区块链的服务器。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本发申请中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开提供的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。

Claims (24)

1.一种网络信息的推送方法，包括：
获取用户的推送请求，所述推送请求中携带目标特征，其中，所述目标特征用于表征用户对网络信息的目标推送需求；
将所述目标特征输入至预先生成的推送模型，得到目标网络信息，并将所述目标网络信息推送给用户，其中，所述推送模型包括多个任务网络，不同的任务网络对应不同的推送需求；
所述推送模型包括：多个神经网络、多个多头注意力网络、以及多个任务网络，一个任务网络对应一个多头注意力网络；将所述目标特征输入至预先生成的推送模型，得到目标网络信息，包括：
将所述目标特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
将每一神经网络所输出的高阶特征，均输入至与目标任务网络对应的多头注意力网络，得到该多头注意力网络所输出的输出特征，所述目标任务网络对应所述目标推送需求；
将该多头注意力网络所输出的输出特征传输给所述目标任务网络，得到所述目标网络信息。
2.根据权利要求1所述的方法，其中，将每一神经网络所输出的高阶特征，均输入至与目标任务网络对应的多头注意力网络，得到该多头注意力网络所输出的输出特征，包括：
基于该多头注意力网络，对各神经网络所输出的高阶特征依次进行归一化处理和逻辑回归处理，得到目标网络信息中间特征；
根据所述目标网络信息中间特征确定该多头注意力网络所输出的输出特征。
3.根据权利要求2所述的方法，其中，根据所述目标网络信息中间特征确定该多头注意力网络所输出的输出特征，包括：
对所述目标网络信息中间特征和各神经网络所输出的高阶特征进行合并处理，得到第三网络信息合并特征，并将所述第三网络信息合并特征依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
4.根据权利要求1所述的方法，所述推送模型通过以下步骤训练得到：
将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征；
针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同多头注意力网络的任务网络对应不同的推送需求；
基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
5.根据权利要求4所述的方法，其中，针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征，包括：
针对输入至每一多头注意力网络的高阶特征，对该高阶特征依次进行归一化处理和逻辑回归处理，得到网络信息中间特征；
根据每一多头注意力网络输出的网络信息中间特征确定该多头注意力网络所输出的输出特征。
6.根据权利要求5所述的方法，其中，根据每一多头注意力网络输出的网络信息中间特征确定该多头注意力网络所输出的输出特征，包括：
对由该多头注意力网络输出的网络信息中间特征，依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
7.根据权利要求5所述的方法，其中，根据每一多头注意力网络输出的网络信息中间特征确定该多头注意力网络所输出的输出特征，包括：
对由该多头注意力网络输出的网络信息中间特征、以及输入至该多头注意力网络的高阶特征进行合并处理，得到第一网络信息合并特征，并根据所述第一网络信息合并特征确定该多头注意力网络所输出的输出特征。
8.根据权利要求7所述的方法，其中，根据所述第一网络信息合并特征确定该多头注意力网络所输出的输出特征，包括：
将所述第一网络信息合并特征依次进行归一化处理和特征重组处理，得到重组特征，并将所述重组特征和由该多头注意力网络所输出的网络信息中间特征进行合并处理，得到该多头注意力网络所输出的输出特征。
9.根据权利要求4至8中任一项所述的方法，其中，针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，包括：
将所述样本网络信息的特征与该多头注意力网络所输出的输出特征进行合并处理，得到第二网络信息合并特征，并将所述第二网络信息合并特征传输给与该多头注意力网络对应的任务网络，得到该任务网络的损失值。
10.根据权利要求4至8中任一项所述的方法，其中，基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，包括：
确定各任务网络的损失值之间的差异信息；
若所述差异信息大于预设的差异阈值，则获取各任务网络之间的同方差不确定性信息，并根据同方差不确定性信息为每一任务网络的损失值分配权值；根据每一任务网络的损失值以及每一任务网络的损失值的权值，对各神经网络的参数和各多头注意力网络的参数进行调整；和/或
若所述差异信息不大于预设的差异阈值，则对各任务网络的损失值进行相加，得到相加后的损失值，并根据所述相加后的损失值对各神经网络的参数和各多头注意力网络的参数进行调整。
11.根据权利要求4至8中任一项所述的方法，其中，将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征，包括：
对所述样本网络信息进行特征提取，得到所述样本网络信息的特征，所述样本网络信息的特征表征所述样本网络信息在数值上和/或类别上的特征；
对所述样本网络信息的特征进行编码处理，得到编码结果，并将所述编码结果输入至每一神经网络，得到各神经网络所输出的高阶特征。
12.一种网络信息的推送装置，包括：
获取单元，用于获取用户的推送请求，所述推送请求中携带目标特征，其中，所述目标特征用于表征用户对网络信息的目标推送需求；
第三输入单元，用于将所述目标特征输入至预先生成的推送模型，得到目标网络信息，其中，所述推送模型包括多个任务网络，不同的任务网络对应不同的推送需求；
推送单元，用于将所述目标网络信息推送给用户；
所述推送模型包括：多个神经网络、多个多头注意力网络、以及多个任务网络，一个任务网络对应一个多头注意力网络；所述第三输入单元，包括：
第二输入子单元，用于将所述目标特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
第三输入子单元，用于将每一神经网络所输出的高阶特征，均输入至与目标任务网络对应的多头注意力网络，得到该多头注意力网络所输出的输出特征，所述目标任务网络对应所述目标推送需求；
第二传输子单元，用于将该多头注意力网络所输出的输出特征传输给所述目标任务网络，得到所述目标网络信息。
13.根据权利要求12所述的装置，其中，所述第三输入子单元，包括：
第二处理模块，用于基于该多头注意力网络，对各神经网络所输出的高阶特征依次进行归一化处理和逻辑回归处理，得到目标网络信息中间特征；
第二确定模块，用于根据所述目标网络信息中间特征确定该多头注意力网络所输出的输出特征。
14.根据权利要求13所述的装置，其中，所述第二确定模块，包括：
第三处理子模块，用于对所述目标网络信息中间特征和各神经网络所输出的高阶特征进行合并处理，得到第三网络信息合并特征；
第四处理子模块，用于将所述第三网络信息合并特征依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
15.根据权利要求13所述的装置，所述推送模型通过模型生成装置生成，所述模型生成装置，包括：
第一输入单元，用于将获取到的样本网络信息的特征输入至每一神经网络，得到各神经网络所输出的高阶特征；
第二输入单元，用于针对每一神经网络所输出的高阶特征，将该高阶特征分别输入至每一多头注意力网络，得到各多头注意力网络所输出的输出特征；
传输单元，用于针对每一多头注意力网络所输出的输出特征，将该多头注意力网络所输出的输出特征，传输给该多头注意力网络对应的任务网络，得到该任务网络的损失值，其中，对应不同多头注意力网络的任务网络对应不同的推送需求；
调整单元，用于基于各任务网络的损失值对各神经网络的参数和各多头注意力网络的参数进行调整，以得到用于推送网络信息的推送模型。
16.根据权利要求15所述的装置，其中，第二输入单元，包括：
第一处理子单元，用于针对输入至每一多头注意力网络的高阶特征，对该高阶特征依次进行归一化处理和逻辑回归处理，得到网络信息中间特征；
第一确定子单元，用于根据每一多头注意力网络输出的网络信息中间特征确定该多头注意力网络所输出的输出特征。
17.根据权利要求16所述的装置，其中，所述第一确定子单元用于，对由该多头注意力网络输出的网络信息中间特征，依次进行归一化处理和特征重组处理，得到该多头注意力网络所输出的输出特征。
18.根据权利要求16所述的装置，其中，所述第一确定子单元，包括：
第一处理模块，用于对由该多头注意力网络输出的网络信息中间特征、以及输入至该多头注意力网络的高阶特征进行合并处理，得到第一网络信息合并特征；
第一确定模块，用于根据所述第一网络信息合并特征确定该多头注意力网络所输出的输出特征。
19.根据权利要求18所述的装置，其中，所述第一确定模块，包括：
第一处理子模块，用于将所述第一网络信息合并特征依次进行归一化处理和特征重组处理，得到重组特征；
第二处理子模块，用于将所述重组特征和由该多头注意力网络所输出的网络信息中间特征进行合并处理，得到该多头注意力网络所输出的输出特征。
20.根据权利要求15至19中任一项所述的装置，其中，所述传输单元，包括：
第二处理子单元，用于将所述样本网络信息的特征与该多头注意力网络所输出的输出特征进行合并处理，得到第二网络信息合并特征；
第一传输子单元，用于将所述第二网络信息合并特征传输给与该多头注意力网络对应的任务网络，得到该任务网络的损失值。
21.根据权利要求15至19中任一项所述的装置，其中，所述调整单元，包括：
第二确定子单元，用于确定各任务网络的损失值之间的差异信息；
获取子单元，用于若所述差异信息大于预设的差异阈值，则获取各任务网络之间的同方差不确定性信息；分配子单元，用于根据同方差不确定性信息为每一任务网络的损失值分配权值；第一调整子单元，用于根据每一任务网络的损失值以及每一任务网络的损失值的权值，对各神经网络的参数和各多头注意力网络的参数进行调整；和/或
相加子单元，用于若所述差异信息不大于预设的差异阈值，则对各任务网络的损失值进行相加，得到相加后的损失值；第二调整子单元，用于根据所述相加后的损失值对各神经网络的参数和各多头注意力网络的参数进行调整。
22.根据权利要求15至19中任一项所述的装置，其中，所述第一输入单元，包括：
提取子单元，用于对所述样本网络信息进行特征提取，得到所述样本网络信息的特征，所述样本网络信息的特征表征所述样本网络信息在数值上和/或类别上的特征；
编码子单元，用于对所述样本网络信息的特征进行编码处理，得到编码结果；
第一输入子单元，用于将所述编码结果输入至每一神经网络，得到各神经网络所输出的高阶特征。
23. 一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至11中任一项所述的方法。
24.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行权利要求1至11中任一项所述的方法。
CN202110931758.7A 2021-08-13 2021-08-13 模型生成方法和网络信息的推送方法 Active CN113656689B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110931758.7A CN113656689B (zh) 2021-08-13 2021-08-13 模型生成方法和网络信息的推送方法

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110931758.7A CN113656689B (zh) 2021-08-13 2021-08-13 模型生成方法和网络信息的推送方法

Publications (2)

Publication Number Publication Date
CN113656689A CN113656689A (zh) 2021-11-16
CN113656689B true CN113656689B (zh) 2023-07-25

Family

ID=78480226

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110931758.7A Active CN113656689B (zh) 2021-08-13 2021-08-13 模型生成方法和网络信息的推送方法

Country Status (1)

Country Link
CN (1) CN113656689B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN117474905A (zh) * 2023-12-26 2024-01-30 广东贝洛新材料科技有限公司 材料性能检测方法、装置、设备及存储介质

Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162799A (zh) * 2018-11-28 2019-08-23 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
CN110209931A (zh) * 2019-05-17 2019-09-06 腾讯科技（深圳）有限公司 媒体内容的推送方法和装置、存储介质、电子装置

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111797689B (zh) * 2017-04-28 2024-04-16 创新先进技术有限公司 车辆定损图像获取方法、装置、服务器和客户端

Patent Citations (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110162799A (zh) * 2018-11-28 2019-08-23 腾讯科技（深圳）有限公司 模型训练方法、机器翻译方法以及相关装置和设备
CN110209931A (zh) * 2019-05-17 2019-09-06 腾讯科技（深圳）有限公司 媒体内容的推送方法和装置、存储介质、电子装置

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习的智慧图书馆智能信息服务系统研究;李建伟;;图书馆学刊(第01期);全文 *

Also Published As

Publication number Publication date
CN113656689A (zh) 2021-11-16

Similar Documents

Publication Publication Date Title
CN112070226A (zh) 在线预测模型的训练方法、装置、设备及存储介质
CN112559007A (zh) 多任务模型的参数更新方法、装置及电子设备
CN112541124A (zh) 生成多任务模型的方法、装置、设备、介质及程序产品
CN114036398A (zh) 内容推荐和排序模型训练方法、装置、设备以及存储介质
CN112084150A (zh) 模型训练、数据检索方法，装置，设备以及存储介质
CN114428907A (zh) 信息搜索方法、装置、电子设备及存储介质
CN111563198A (zh) 一种物料召回方法、装置、设备及存储介质
CN113656689B (zh) 模型生成方法和网络信息的推送方法
CN111461306B (zh) 特征评估的方法及装置
CN112989170A (zh) 应用于信息搜索的关键词匹配方法、信息搜索方法及装置
US20220198487A1 (en) Method and device for processing user interaction information
CN112580723A (zh) 多模型融合方法、装置、电子设备和存储介质
US20230085684A1 (en) Method of recommending data, electronic device, and medium
CN111177479A (zh) 获取关系网络图中节点的特征向量的方法以及装置
CN115203564A (zh) 信息流推荐方法、装置及计算机程序产品
CN113961797A (zh) 资源推荐方法、装置、电子设备和可读存储介质
CN111625710B (zh) 推荐内容的处理方法、装置、电子设备及可读存储介质
CN114037060A (zh) 预训练模型的生成方法、装置、电子设备以及存储介质
CN111582480A (zh) 用于对模型剪枝的方法和装置
CN112905885A (zh) 向用户推荐资源的方法、装置、设备、介质和程序产品
CN112579897A (zh) 信息搜索方法和装置
CN114331379B (zh) 用于输出待办任务的方法、模型训练方法和装置
CN113011490B (zh) 模型训练方法、装置及电子设备
CN113691442B (zh) 好友推荐方法、装置、设备、存储介质及程序产品
CN118035557A (zh) 资源推送方法、装置、电子设备、存储介质及程序产品

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant