CN116166961A - 超网络模型、深度学习模型的训练方法、信息推荐方法 - Google Patents
超网络模型、深度学习模型的训练方法、信息推荐方法 Download PDFInfo
- Publication number
- CN116166961A CN116166961A CN202310148539.0A CN202310148539A CN116166961A CN 116166961 A CN116166961 A CN 116166961A CN 202310148539 A CN202310148539 A CN 202310148539A CN 116166961 A CN116166961 A CN 116166961A
- Authority
- CN
- China
- Prior art keywords
- adjustment
- hidden
- network
- training
- layer
- Prior art date
- Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
- Granted
Links
- 238000012549 training Methods 0.000 title claims abstract description 193
- 238000000034 method Methods 0.000 title claims abstract description 119
- 238000013136 deep learning model Methods 0.000 title claims abstract description 73
- 238000012360 testing method Methods 0.000 claims abstract description 114
- 230000003044 adaptive effect Effects 0.000 claims abstract description 106
- 230000003993 interaction Effects 0.000 claims abstract description 76
- 238000004590 computer program Methods 0.000 claims description 12
- 238000012545 processing Methods 0.000 claims description 12
- 230000009466 transformation Effects 0.000 claims description 8
- 238000013473 artificial intelligence Methods 0.000 abstract description 3
- 238000010586 diagram Methods 0.000 description 19
- 230000006870 function Effects 0.000 description 19
- 230000008569 process Effects 0.000 description 15
- 238000004891 communication Methods 0.000 description 10
- 230000000694 effects Effects 0.000 description 8
- 230000002452 interceptive effect Effects 0.000 description 6
- 238000000605 extraction Methods 0.000 description 4
- 230000006978 adaptation Effects 0.000 description 3
- 230000007246 mechanism Effects 0.000 description 3
- 238000012986 modification Methods 0.000 description 3
- 230000004048 modification Effects 0.000 description 3
- 230000003287 optical effect Effects 0.000 description 3
- 230000033228 biological regulation Effects 0.000 description 2
- 238000002372 labelling Methods 0.000 description 2
- 238000005457 optimization Methods 0.000 description 2
- 239000013598 vector Substances 0.000 description 2
- 238000003491 array Methods 0.000 description 1
- 238000013475 authorization Methods 0.000 description 1
- 230000006399 behavior Effects 0.000 description 1
- 230000001413 cellular effect Effects 0.000 description 1
- 238000010276 construction Methods 0.000 description 1
- 238000013135 deep learning Methods 0.000 description 1
- 238000013461 design Methods 0.000 description 1
- 239000004973 liquid crystal related substance Substances 0.000 description 1
- 238000010801 machine learning Methods 0.000 description 1
- 230000014759 maintenance of location Effects 0.000 description 1
- 238000003062 neural network model Methods 0.000 description 1
- 239000013307 optical fiber Substances 0.000 description 1
- 239000004065 semiconductor Substances 0.000 description 1
- 230000001953 sensory effect Effects 0.000 description 1
- 238000006467 substitution reaction Methods 0.000 description 1
- 230000000007 visual effect Effects 0.000 description 1
Images
Classifications
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/04—Architecture, e.g. interconnection topology
-
- G—PHYSICS
- G06—COMPUTING; CALCULATING OR COUNTING
- G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
- G06N3/00—Computing arrangements based on biological models
- G06N3/02—Neural networks
- G06N3/08—Learning methods
Landscapes
- Engineering & Computer Science (AREA)
- Theoretical Computer Science (AREA)
- Physics & Mathematics (AREA)
- Data Mining & Analysis (AREA)
- General Health & Medical Sciences (AREA)
- Biomedical Technology (AREA)
- Biophysics (AREA)
- Computational Linguistics (AREA)
- Life Sciences & Earth Sciences (AREA)
- Evolutionary Computation (AREA)
- Artificial Intelligence (AREA)
- Molecular Biology (AREA)
- Computing Systems (AREA)
- General Engineering & Computer Science (AREA)
- General Physics & Mathematics (AREA)
- Mathematical Physics (AREA)
- Software Systems (AREA)
- Health & Medical Sciences (AREA)
- Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
Abstract
本公开提供了一种超网络模型的训练方法，涉及人工智能和网络结构搜索技术领域。具体实现方案为：将训练样本的初始特征输入适应性网络，生成训练样本的适应性特征；将测试样本的初始特征输入预测网络，生成测试样本的隐藏特征，测试样本具有标签，标签表示测试用户数据与测试对象数据之间的测试交互数据；使用调整网络基于适应性特征调整隐藏特征；根据调整后的隐藏特征确定超网络模型的输出结果，输出结果表示测试用户数据与测试对象数据之间的预测交互数据；根据测试交互数据和预测交互数据，确定超网络模型的损失；根据损失更新调整网络的结构参数。本公开还提供了一种深度学习模型的训练方法、信息推荐方法、装置、电子设备和存储介质。
Description
技术领域
本公开涉及人工智能技术领域，尤其涉及深度学习、智能推荐、网络结构搜索技术领域。更具体地，本公开提供了一种超网络模型的训练方法、深度学习模型的训练方法、信息推荐方法、装置、电子设备和存储介质。
背景技术
推荐系统在当今社会有着广泛的应用。主流的推荐系统是基于深度神经网络模型，以用户和对象(如物品)的特征等作为输入，对可能的交互行为进行预测。
为了能够做出准确的个性化推荐，往往需要提供该特定用户的大量的标注交互信息用于模型训练。然而在实际应用中，推荐系统的用户分布体现明显的长尾特点，大部分用户都没有足够的历史交互数据来支撑模型训练，不断到来的新用户也将在较长时间内处于信息不足的状态下。因此，用户冷启动是推荐系统中难以避免的问题。
发明内容
本公开提供了一种超网络模型的训练方法、深度学习模型的训练方法、信息推荐方法、装置、设备以及存储介质。
根据第一方面，提供了一种超网络模型的训练方法，超网络模型包括适应性网络、预测网络和调整网络；该方法包括：将训练样本的初始特征输入适应性网络，生成训练样本的适应性特征，其中，训练样本包括训练用户数据、训练对象数据以及训练用户数据和训练对象数据之间的训练交互数据；将测试样本的初始特征输入预测网络，生成测试样本的隐藏特征，其中，测试样本包括测试用户数据和测试对象数据，测试样本具有标签，标签表示测试用户数据与测试对象数据之间的测试交互数据；使用调整网络基于适应性特征调整隐藏特征；根据调整后的隐藏特征确定超网络模型的输出结果，输出结果表示测试用户数据与测试对象数据之间的预测交互数据；根据测试交互数据和预测交互数据，确定超网络模型的损失；以及根据损失更新调整网络的结构参数。
根据第二方面，提供了一种深度学习模型的训练方法，该方法包括：获取超网络模型，超网络模型是根据超网络模型的训练方法进行训练得到的；根据超网络模型中的调整网络的结构参数，确定调整网络中被保留的操作单元；基于调整网络中被保留的操作单元，确定新的模型结构；将包含新的模型结构的超网络模型确定为深度学习模型；以及使用训练样本对深度学习模型进行训练。
根据第三方面，提供了一种信息推荐方法，该方法包括：生成待推荐用户数据的初始特征和待推荐对象数据的初始特征；将待推荐用户数据的初始特征和待推荐对象数据的初始特征输入深度学习模型，得到待推荐用户数据与待推荐对象数据之间的推荐交互数据；以及输出推荐交互数据。其中，深度学习模型是根据深度学习模型的训练方法进行训练得到的。
根据第四方面，提供了一种超网络模型的训练装置，超网络模型包括适应性网络、预测网络和调整网络；该装置包括：第一生成模块，用于将训练样本的初始特征输入适应性网络，生成训练样本的适应性特征，其中，训练样本包括训练用户数据、训练对象数据以及训练用户数据和训练对象数据之间的训练交互数据；第二生成模块，用于将测试样本的初始特征输入预测网络，生成测试样本的隐藏特征，其中，测试样本包括测试用户数据和测试对象数据，测试样本具有标签，标签表示测试用户数据与测试对象数据之间的测试交互数据；调整模块，用于使用调整网络基于适应性特征调整隐藏特征；输出结果确定模块，用于根据调整后的隐藏特征确定超网络模型的输出结果，输出结果表示测试用户数据与测试对象数据之间的预测交互数据；损失确定模块，用于根据测试交互数据和预测交互数据，确定超网络模型的损失；以及更新模块，用于根据损失更新调整网络的结构参数。
根据第五方面，提供了一种深度学习模型的训练装置，该装置包括：获取模块，用于获取超网络模型，超网络模型是根据超网络模型的训练装置进行训练得到的；保留模块，用于根据超网络模型中的调整网络的结构参数，确定调整网络中被保留的操作单元；结构确定模块，用于基于调整网络中被保留的操作单元，确定新的模型结构；模型确定模块，用于将包含新的模型结构的超网络模型确定为深度学习模型；以及训练模块，用于使用训练样本对深度学习模型进行训练。
根据第六方面，提供了一种信息推荐装置，该装置包括：第三生成模块，用于生成待推荐用户数据的初始特征和待推荐对象数据的初始特征；处理模块，用于将待推荐用户数据的初始特征和待推荐对象数据的初始特征输入深度学习模型，得到待推荐用户数据与待推荐对象数据之间的推荐交互数据；以及输出模块，用于输出推荐交互数据。其中，深度学习模型是根据深度学习模型的训练装置进行训练得到的。
根据第七方面，提供了一种电子设备，包括：至少一个处理器；以及与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够执行根据本公开提供的方法。
根据第八方面，提供了一种存储有计算机指令的非瞬时计算机可读存储介质，该计算机指令用于使计算机执行根据本公开提供的方法。
根据第九方面，提供了一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据本公开提供的方法。
应当理解，本部分所描述的内容并非旨在标识本公开的实施例的关键或重要特征，也不用于限制本公开的范围。本公开的其它特征将通过以下的说明书而变得容易理解。
附图说明
附图用于更好地理解本方案，不构成对本公开的限定。其中：
图1是根据本公开的一个实施例的可以应用超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一的示例性系统架构示意图；
图2是根据本公开的一个实施例的超网络模型的训练方法的流程图；
图3是根据本公开的一个实施例的超网络模型的结构示意图；
图4是根据本公开的一个实施例的搜索空间的示意图；
图5是根据本公开的一个实施例的调整网络的调整层的结构的示意图；
图6是根据本公开的一个实施例的深度学习模型的训练方法的流程图；
图7是根据本公开的一个实施例的信息推荐方法的流程图；
图8是根据本公开的一个实施例超网络模型的训练方法、深度学习模型的训练方法以及信息推荐方法的关系示意图；
图9是根据本公开的一个实施例的超网络模型的训练装置的框图；
图10是根据本公开的一个实施例的深度学习模型的训练装置的框图；
图11是根据本公开的一个实施例的信息推荐装置的框图；
图12是根据本公开的一个实施例的超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一的电子设备的框图。
具体实施方式
以下结合附图对本公开的示范性实施例做出说明，其中包括本公开实施例的各种细节以助于理解，应当将它们认为仅仅是示范性的。因此，本领域普通技术人员应当认识到，可以对这里描述的实施例做出各种改变和修改，而不会背离本公开的范围和精神。同样，为了清楚和简明，以下的描述中省略了对公知功能和结构的描述。
在为用户做个性化推荐的场景下，对于样本数量少的用户，存在冷启动的问题。一种解决冷启动问题的思路，是使得模型对每个用户具有适应性机制，从而模型能够快速适应仅有少量样本的冷启动用户，进而实现为所有用户做个性化推荐。
从模型是否具有对用户的适应性机制上来说，现有的模型主要包括以下几种。
一种是未采用基于小样本的学习方法，模型不具有针对用户的适应性机制。该类方法的模型在用户差异较大时推荐性能不足。
一种是基于梯度更新的适应性方法，该方法利用每个用户的标注交互信息做梯度下降。该类方法的模型在测试、面对新用户时适应过程较慢，且容易产生过拟合问题。
本公开提供一种超网络模型的训练方法、深度学习模型的训练方法以及信息推荐方法，是基于超网络模型生成器的适应性方法。利用了小样本学习的方法，将每个用户的标注交互信息输入超网络，生成用户个性化的适应性参数，将用户的适应性参数作用到模型中，来影响模型的预测，达到个性化推荐的目的。
本公开的技术方案中，所涉及的用户个人信息的收集、存储、使用、加工、传输、提供和公开等处理，均符合相关法律法规的规定，且不违背公序良俗。
在本公开的技术方案中，在获取或采集用户个人信息之前，均获取了用户的授权或同意。
图1是根据本公开一个实施例的可以应用超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一的示例性系统架构示意图。需要注意的是，图1所示仅为可以应用本公开实施例的系统架构的示例，以帮助本领域技术人员理解本公开的技术内容，但并不意味着本公开实施例不可以用于其他设备、系统、环境或场景。
如图1所示，根据该实施例的系统架构100可以包括终端设备101、102、103，网络104和服务器105。网络104用以在终端设备101、102、103和服务器105之间提供通信链路的介质。网络104可以包括各种连接类型，例如有线和/或无线通信链路等等。
用户可以使用终端设备101、102、103通过网络104与服务器105进行交互，以接收或发送消息等。终端设备101、102、103可以是各种电子设备，包括但不限于智能手机、平板电脑、膝上型便携计算机等等。
本公开实施例所提供的超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一一般可以由服务器105执行。相应地，本公开实施例所提供的超网络模型的训练装置、深度学习模型的训练装置和信息推荐装置一般可以设置于服务器105中。本公开实施例所提供的超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法也可以由不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群执行。相应地，本公开实施例所提供的超网络模型的训练装置、深度学习模型的训练装置和信息推荐装置也可以设置于不同于服务器105且能够与终端设备101、102、103和/或服务器105通信的服务器或服务器集群中。
图2是根据本公开的一个实施例的超网络模型的训练方法的流程图。
本公开提供的超网络模型包括适应性网络、调整网络和预测网络。调整网络包括可选择执行或选择不执行的操作单元，因而根据操作单元的可选性，能够构成包含不同操作组合的多种模型结构。所有操作组合确定的模型结构组成超网络模型的搜索空间。
本实施例为超网络模型引入操作可选择的调整网络，根据不同样本集自动选择具有最优操作组合的网络结构，进而构建能够适用于不同用户的模型，达到为不同用户做个性化推荐的效果。
其中，从搜索空间选出包含最优操作组合的模型结构的过程，为网络结构搜索过程，网络结构搜索是通过超网络模型的训练实现的。
如图2所示，该超网络模型的训练方法200包括操作S210～操作S260。
在操作S210，将训练样本的初始特征输入适应性网络，生成训练样本的适应性特征。
训练样本包括训练用户数据、训练对象数据以及训练用户数据和训练对象数据之间的训练交互数据。
用户数据集可以表示为U＝{ui}，用户数据集中的每个用户数据ui由一系列用户信息表示，例如用户性别等。对象数据集可以表示为V＝{vj}，对象数据集中的每个对象数据vj由一系列对象信息表示，例如对象价格等。ui与vj的交互数据记为yi，j，交互数据例如为用户对对象的关注操作、收藏操作、购买操作等。
本实施例目标是要构建一个模型，该模型对于一个新用户，即使只有很少的交互数据，也能做出准确的个性化推荐。针对该目标，可以遵循小样本学习的方法，将每个用户看作一个任务。与每个用户关联的用户数据、对象数据以及交互数据组成一个训练样本集。训练样本集可以表示为
N为交互数据量。对于冷启动的用户N很小，例如N＝10。
将训练样本集中的训练用户数据ui的基本信息、训练对象数据vj的基本信息以及二者之间的训练交互数据yi，j分别映射成连续的向量，作为训练样本的初始特征。将训练样本的初始特征输入适应性网络，得到每个用户独特的个性化的适应性特征。
适应性网络可以有多种选择，例如可以是全连接网络，可以使得训练用户数据的基本特征、训练对象数据的基本特征以及训练交互数据的基本特征进行信息交互，使得适应性特征包含三者之间的关联关系，进而适应性特征可以表征训练用户数据对训练对象数据的偏好信息，即训练用户的个性化信息。
在操作S220，将测试样本的初始特征输入预测网络，生成测试样本的隐藏特征。
测试样本包括测试用户数据和测试对象数据，测试样本具有标签，标签表示测试用户数据与测试对象数据之间的测试交互数据。
测试样本集可以表示为
其中，M为交互数据量。测试样本集中的测试交互数据yi，q可以作为标签来监督超网络模型的训练。将测试样本集中的用户数据ui的基本信息和对象数据vq的基本信息分别映射成连续的向量，作为测试样本的初始特征。将测试样本的初始特征输入预测网络，得到预测网络的预测层输出的隐藏特征。
预测网络可以包括多个预测层，每个预测层可以输出隐藏特征。预测网络可以由多层感知机实现，多层感知机例如包括L层，每一层为一个预测层。L为大于1的整数，例如L＝4。
在操作S230，使用调整网络基于适应性特征调整隐藏特征。
调整网络可以包括多个调整层，每个调整层对应一个预测层，每个调整层用于对与自身对应的预测层输出的隐藏特征进行调整。
例如，针对每个预测层的隐藏特征，对应的调整层可以基于适应性特征对该隐藏特征进行调整，调整后的当前预测层的隐藏特征输入到下一个预测层，得到下一个预测层的隐藏特征。下一个预测层的隐藏特征再由下一个调整层进行调整，得到调整后的下一个预测层的隐藏特征。以此类推，直至得到调整后的最后一个预测层的隐藏特征。
本实施例通过调整网络引入适应性特征来对隐藏特征进行调整，能够将适应性特征作用到模型中，达到适应性特征影响预测的目的。
每个调整层包括可选择执行或选择不执行的操作单元。操作单元可以包括最大化、最小化、点乘、取余、加、减等操作中的至少之一。
通过使用调整网络的操作单元基于适应性特征对隐藏特征的调整，可以引入适应性特征对模型预测的影响，将不同用户的适应性特征作用在模型上，使得模型适应不同的用户，达到个性化推荐的效果。
此外，由于操作单元的可选择执行的性质以及操作单元可以包括多种类型，因此，调整网络基于适应性特征对隐藏特征的调整是非线性化的。相比于线性化调整，包含多种操作类型的非线性化调整方式能够获得更大的模型结构搜索空间，使得模型结构的选择性更多、灵活性更强，从而便于获得包含最优操作组合的模型结构，进而提高模型的个性化推荐效果。
在操作S240，根据调整后的隐藏特征确定超网络模型的输出结果。
例如，根据调整后的最后一个预测层的隐藏特征可以确定超网络模型的输出结果。该输出结果可以表示测试用户数据与测试对象数据之间的预测交互数据。
在操作S250，根据测试交互数据和预测交互数据，确定超网络模型的损失。
超网络模型的输出结果(即测试用户数据与测试对象数据之间的预测交互数据)与测试样本的标签(即用户数据与测试对象数据之间的测试交互数据)之间的差异，可以作为超网络模型的损失。
例如，可以计算预测交互数据与测试交互数据之间的均方差，作为超网络模型的损失。
在操作S260，根据损失更新调整网络的结构参数。
例如，利用超网络模型的损失可以进行梯度下降，以更新超网络模型的参数。其中，超网络模型中调整网络的操作单元决定了模型结构，因此操作单元的参数可以作为调整网络的结构参数。操作单元的参数可以包括该操作单元被选择执行的权重。
超网络模型可以在在训练过程中，通过梯度下降的方式更新调整网络的结构参数，来获取最优的模型结构。例如，可以根据超网络模型训练完成后的调整网络的结构参数，来确定哪些操作单元选择保留，哪些操作单元选择不保留，从而确定包含最优操作组合的模型结构，作为最优模型结构。
本公开的实施例可以利用小样本生成用户的适应性特征，使用调整网络基于适应性特征调整隐藏特征，从而影响预测网络的输出，使模型达到适应不同用户的效果，解决用户冷启动问题，进而提高模型推荐效果。
此外，本公开的实施例的调整网络包括可选择执行或者不执行的操作单元，操作单元的可选择性构成超网络模型的搜索空间，通过超网络模型训练的方式从搜索空间中搜索出具有最优操作组合的模型结构，使用包含最优操作组合的模型进行个性化推荐，能够提高个性化推荐的准确率。
根据本公开的实施例，超网络模型包括调整层，调整层包括操作单元。操作单元具有被选择执行的权重。上述操作S230包括根据权重，使用调整层的操作单元基于适应性特征对隐藏特征进行加权调整，得到调整后的隐藏特征。
例如，操作单元被选择执行的权重为α，那么操作单元不被选择执行的权重为(1-α)。可以将适应性特征和隐藏特征输入操作单元，得到操作结果，将权重α与操作结果的乘积加上隐藏特征与权重(1-α)的乘积，得到的加权结果，作为调整后的隐藏特征。
操作单元可以有多个，多个操作单元的类型可以不同，例如类型包括最大化、最小化、点乘、加等。由于操作单元可以包括多种操作类型且操作单元是通过加权操作调整隐藏特征的，因此，隐藏特征的调整是非线性的。
相比于线性化的调整方式，加权调整的方式包含了执行操作单元的分支和不执行操作单元的分支，使得模型结构具有更大的搜索空间，从而模型结构的选择性更多、灵活性更强，进而便于获得包含最优操作组合的模型结构，提高模型的个性化推荐效果。
图3是根据本公开的一个实施例的超网络模型的结构示意图。
如图3所示，超网络模型包括特征提取网络310、适应性网络320、调整网络330和预测网络340。
训练样本集
中的每个训练样本包括用户数据ui(User i)、对象数据vj(Item j)以及用户数据ui(User i)与对象数据vj(Item j)之间的训练交互数据。
测试样本集
中的每个测试样本包括用户数据ui(User i)和对象数据vq(Item q)，用户数据ui(User i)和对象数据vq(Item q)之间的测试交互数据作为测试样本的标签。
训练样本(ui，vj)输入特征提取网络310，可以得到训练样本的初始特征E(ui，vj)。特征提取网络310的输出可以用如下公式(1)表示：
(ui，vj)＝E(ui，vj) (1)
类似地，测试样本(ui，vq)输入特征提取网络310，可以得到测试样本的初始特征E(ui，vq)。
训练样本的初始特征输入适应性网络320，生成训练样本的适应性特征(或者适应性参数)。适应性网络320的输出可以用如下公式(2)表示：
其中，Φi表示适应性特征，A表示适应性网络320的处理函数，C为超参数，表示适应性特征的组数，c＝1，2，……C。
测试样本(ui，vq)的初始特征输入预测网络340，预测网络340基于测试样本(ui，vq)以及适应性特征Φi，输出预测交互数据
预测网络340的输出可以用如下公式(3)表示。
预测网络340包括多个(例如4个)预测层，每个预测层输出的隐藏特征，是经过调整网络330调整后，再输入下一个预测层的。
调整网络330包括多个(例如4个)调整层，调整网络的多个调整层与预测网络340的多个预测层是各自对应的。每个调整层对预测网络340的对应预测层的输出进行调整，调整网络330的调整过程可以用如下公式(4)表示。
其中，Ml表示调整网络330的第l个调整层的调整函数。hl表示预测网络340的第l个预测层输出的隐藏特征。
表示经第l个调整层调整后的隐藏特征。l＝0，1，……，L-1，L为大于1的整数，例如L＝4。
预测网络340基于上一个预测层的隐藏特征，输出下一个预测层的隐藏特征。预测网络340的隐藏层的输出可以用如下公式(5)表示。
其中，hl+1表示第(l+1)层输出的隐藏特征，
和/>
是第l个预测层的参数，ReLU表示预测层的预测函数。
例如，将适应性特征Φj和第一个预测层的隐藏特征h0输入第一个调整层，通过上述公式(4)得到经第一个调整层调整后的隐藏特征
将经第一个调整层调整后的隐藏特征/>
输入第二个预测层，通过上述公式(5)得到第二个预测层的隐藏特征h1。以此类推，直至得到经最后一个调整层调整后的隐藏特征/>
根据经最后一个调整层调整后的隐藏特征
确定超网络模型的输出结果，该输出结果表示用户数据ui和对象数据vq之间的预测交互数据。
根据超网络模型输出的用户数据ui和对象数据va之间的预测交互数据与用户数据ui和对象数据vq之间测试交互数据，可以计算超网络模型的损失。根据超网络模型的损失可以调整超网络模型的参数。其中还可以调整调整网络的每一个调整层的调整函数Ml的结构参数，以得到最优结构的模型。
本实施例的每一个预测层输出的隐藏特征经对应调整层的调整后，输入下一个预测层，得到下一个预测层输出的隐藏特征，针对下一个预测层的隐藏特征，使用下一个调整层进行调整，直至得到经最后一个调整层调整后的隐藏特征，基于最后一个调整层调整后的隐藏特征确定超网络模型的输出结果，由于隐藏特征是基于适应性特征进行调整的，因此引入了适应性特征对模型输出的影响，适应性特征表征用户的个性化特征，因此，能够使得模型适应不同的用户，因而提高了模型的推荐效果。
下面对调整层的调整函数Ml进行详细说明。
上述公式(4)中的调整函数Ml，在相关技术中一般采用线性变换函数且是固定的(即M0＝M1＝M2＝M3)，例如调整函数Ml的调整过程可以用如下公式(6)所示的线性变换关系表示。
其中，⊙表示点乘运算。
利用上述线性变换函数可以进行隐藏特征的调整，但是在所有层上使用相同的调整函数并非最优的选择，会使得搜索空间的范围较小，模型结构的可选择性较少，缺乏灵活性。
为了找到最优的模型结构，本实施例为各层的调整函数Ml设计包含多种操作类型的非线性调整函数，使得获得更大的模型结构搜索空间。
根据本公开的实施例，根据操作单元集合，确定所述隐藏特征与所述适应性特征之间的多种操作关系，构成搜索空间；根据所述搜索空间中各操作关系之间的变换和组合，优化所述搜索空间；以及根据优化后的搜索空间，从所述操作单元集合中确定多个所述操作单元。
例如，操作单元集合可以表示为
该操作单元集合包含常见的保持维度的二元操作函数，例如最大化、最小化、点乘、取余、加、减。基于上述操作单元集合，可以设计调整函数可以进行如下公式(7)的非线性变换。
其中，
上述公式(7)可以包含多种操作关系，多种操作关系构成搜索空间，该搜索空间大小为6C*L，L为预测层的层数。
较长的操作步数C可以使调整函数足够灵活，对上述公式(7)表示的搜索空间中的各种操作关系进行交换和组合，可以将搜索空间进行优化。
例如，如果适应性网络的表达能力足够强，能够学习出任意
其中
那么上述公式(7)表示的搜索空间中C步操作之间存在相互可以交换或结合的操作。经过不断的交换、结合，可以得到与公式(7)所示的搜索空间等价的新的搜索空间，该新的搜索空间为如下公式8所示。
由公式8所示的搜索空间，可以确定搜索单元的类型包括最大化、最小化、点乘和加。该搜索空间的大小为24*L。
图4是根据本公开的一个实施例的搜索空间的示意图。
如图4所示，搜索空间401和搜索空间402均采用二叉树形式的图示表示。基于二叉树的遍历方式可以搜索在搜索空间401、402内的所有的操作组合。
搜索空间401是由公式(7)确定的，该搜索空间401中的操作类型包括{max，min，⊙，/，+，-}。搜索空间402是由公式(8)确定的，该搜索空间402中的操作类型包括{max，min，⊙，+}。
搜索空间402是对搜索空间401进行优化得到的，因此，搜索空间401和搜索空间402是等价的。
本实施例通过优化搜索空间，能够确定搜索空间包含的特定的操作类型，进而确定具有特征操作类型的操作单元，该操作单元作为调整网络中可选择执行的结构，能够使得网络结构的选择性更加灵活。
需要说明的是，搜索空间402中包含的操作类型彼此之间的顺序可交换，即不同操作类型的操作单元彼此之间可交换。
基于搜索空间402中的操作类型{max，min，⊙，+}，可以确定调整网络的每一个调整层的调整函数可以包含最大化、最小化、点乘和加共4个操作单元，并且每个操作单元可以选择执行或者选择不执行。
下面对调整网络的调整层的结构进行具体说明。
图5是根据本公开的一个实施例的调整网络的调整层的结构的示意图。
如图5所示是调整网络的第l个调整层的结构，包括最大化、最小化、点乘和加共四个操作单元，每个操作单元包括执行该操作单元的分支以及不执行该操作单元的分支，执行该操作单元的分支以及不执行该操作单元的分支组成一个调整结构。因此，每个操作单元对应有一个调整结构。
如图5所示，每个调整层包括多个调整结构，每个调整结构包括一个操作单元(即执行对应操作的分支)以及与该操作单元对应的分支单元(即不执行对应操作的分支)。操作单元具有被选择执行的权重α，分支单元也具有被选择执行的权重(1-α)。
例如调整结构501包括执行max操作的操作单元，以及不执行max操作的分支单元。执行max操作的操作单元具有权重αl，1，不执行max操作的分支单元具有权重(1-αl，1)。
根据本公开的实施例，使用调整层的操作单元基于适应性特征对隐藏特征进行加权调整，得到调整后的隐藏特征包括：将适应性特征和隐藏特征输入当前调整结构；使用当前调整结构的操作单元和分支单元基于适应性特征对隐藏特征进行加权调整，得到经当前调整结构调整后的隐藏特征；将经当前调整结构调整后的隐藏特征和适应性特征输入下一个调整结构；将下一个调整结构确定为当前调整结构，返回使用当前调整结构的操作单元和分支单元基于适应性特征对隐藏特征进行加权调整的步骤，直至得到经最后一个调整结构调整后的隐藏特征，作为经调整层调整后的隐藏特征。
例如，第1个预测层的隐藏特征hl输入到第l个调整层，在第l个调整层，隐藏特征
和适应性特征/>
输入对应max操作的调整结构501，经调整结构501的操作单元和分支单元进行加权调整后，得到经调整结构501调整后的隐藏特征/>
隐藏特征/>
和适应性参数/>
输入下一个调整结构，即对应min操作的调整结构，经对应min操作的调整结构的操作单元和分支单元进行加权调整后，得到经对应min操作的调整结构调整后的隐藏特征hl，2。以此类推，直至得到最后一个调整结构(即对应加操作的调整结构)调整后的隐藏特征/>
即为经第l个调整层调整后的隐藏特征。
根据本公开的实施例，使用当前调整结构的操作单元和分支单元基于适应性特征对隐藏特征进行加权调整，得到经当前调整结构调整后的隐藏特征包括：将适应性特征和隐藏特征输入当前调整结构的操作单元，得到操作输出；将隐藏特征输入当前调整结构的分支单元，得到分支输出；根据操作单元的权重、操作输出、分支单元的权重和分支输出，确定经当前调整结构调整后的隐藏特征。
例如，在第l个调整层，基于适应性特征对隐藏特征进行加权调整的调整公式如下公式(9)所示。
其中，k＝0，1，2，3。K＝0时是对应max操作的调整结构501的加权调整，K＝1时是对应min操作的调整结构的加权调整，K＝2时是对应点乘操作的调整结构的加权调整，K＝2时是对应加操作的调整结构的加权调整。
上述公式(9)等号右边的第一项为对应操作单元的输出，第二项为分支单元的输出。操作单元的输出和分支单元的输出各自乘以自身的权重，再进行加权和处理，可以得到加权调整后的输出。
操作单元是否选择执行确定了模型结构，因此操作单元被选择执行的权重参数可以作为调整网络的结构参数。超网络模型可以在在训练过程中，通过梯度下降的方式更新调整网络的结构参数，即各个操作单元的权重α，来确定最优的模型结构。
下面对使用多个调整层分别对对应的多个预测层进行加权调整的情况进行详细说明。
根据本公开的实施例，使用调整网络基于适应性特征调整隐藏特征，根据调整后的隐藏特征确定超网络模型的输出结果包括：将适应性特征和当前预测层的隐藏特征输入当前调整层，当前预测层和当前调整层对应；根据操作单元的权重，使用当前调整层的操作单元基于适应性特征对隐藏特征进行加权调整，得到调整后的当前预测层的隐藏特征；将调整后的当前预测层的隐藏特征输入下一个预测层，得到下一个预测层的隐藏特征；将下一个预测层确定为新的当前预测层，将下一个调整层确定为新的当前调整层，针对新的当前预测层和新的当前调整层，返回将适应性特征和当前预测层的隐藏特征输入当前调整层的步骤，直至得到最后一个预测层的隐藏特征；以及根据最后一个预测层的隐藏特征，确定预测网络的输出结果。
例如，将适应性特征Φi和第一个预测层的隐藏特征h0输入第一个调整层，第一个调整层的操作单和分支单元通过上述公式(9)的得到经第一个调整层调整后的隐藏特征
将经第一个调整层调整后的隐藏特征/>
输入第二个预测层，通过上述公式(5)得到第二个预测层的隐藏特征h1。将第二个预测层的隐藏特征h1输入第二个调整层，第二个调整层的操作单和分支单元通过上述公式(9)的得到经第二个调整层调整后的隐藏特征/>
以此类推，直至得到经最后一个调整层调整后的隐藏特征(例如/>
)，根据经最后一个调整层调整后的隐藏特征/>
确定超网络模型的输出结果，该输出结果表示测试用户数据和测试对象数据之间的预测交互数据。
本公开实施例在超网络模型的训练过程中，使用调整网络每个调整层中的操作单元和分支单元对对应预测层的隐藏特征进行加权调整，根据调整后的隐藏特征确定模型的输出结果，进而确定模型损失，基于损失调整操作单元的结构参数，以便确定最优的模型结构。
本实施例将网络结构搜索过程通过超网络模型的训练来实现，基于训练完成超网络模型确定最优的模型结构，能够提高模型结构搜索的准确率。
图6是根据本公开的一个实施例的深度学习模型的训练方法的流程图。
如图6所示，该深度学习模型的训练方法包括操作S610～操作S650。
在操作S610，获取超网络模型。超网络模型是根据上述超网络模型的训练方法进行训练得到的。
在操作S620，根据超网络模型中的调整网络的结构参数，确定调整网络中被保留的操作单元。
在操作S630，基于调整网络中被保留的操作单元，确定新的模型结构。
在操作S640，将包含新的模型结构的超网络模型确定为深度学习模型。
在操作S650，使用训练样本对深度学习模型进行训练。
本实施例的深度学习模型例如是用于信息推荐的深度学习模型。
在超网络模型的训练过程中，训练样本包括训练用户数据、训练对象数据以及训练用户数据与训练对象数据之间的训练交互数据。测试数据包括测试用户数据和测试对象数据。基于训练数据生成了用户的个性化的适应性特征。基于测试数据生成了隐藏特征，基于适应性特征对隐藏特征进行了调整，经调整后的隐藏特征得到了测试用户数据与测试对象数据之间的预测交互数据。
基于测试用户数据与测试对象数据之间的预测交互数据与测试交互数据之间的差异，进行梯度下降，更新超网络模型的结构参数，即超网络模型中用于对隐藏特征进行调整的操作单元的权重。从而得到经训练的超网络模型。
对于经训练的超网络模型，模型的调整网络的各调整层中的操作单元的权重越大，该操作单元越应该被保留。因此，可以从多个调整层的所有操作单元的权重中选取最大的K个权重，K为大于1的整数；以及保留与K个权重各自对应的K个操作单元。
例如，可以对调整网络中所有的操作单元的权重进行排序，选取所有权重中最大的K个权重，与该K个权重对应的操作单元被保留。操作单元被保留表示在后续的深度学习模型的训练中执行该操作单元，否则不执行该操作单元。
对于被保留的操作单元，可以确定调整网络的新的结构，进而将包含该新调整网络结构的超网络模型确定为用于信息推荐的深度学习模型。
接下来，可以使用训练样本对该深度学习模型进行训练。训练样本可以复用超网络模型的训练样本，使得深度学习模型的训练目的与超网络模型的训练目的一致，即均为训练得到能够适应不同用户的模型，达到个性化推荐的效果。
本实施例根据经训练的超网络模型确定保留的操作单元，能够得到包含最优操作组合的模型结构作为深度学习模型的模型结构，进而通过对深度学习模型进行训练，能够得到适应不同用户的信息推荐模型，达到个性化推荐的效果。
图7是根据本公开的一个实施例的信息推荐方法的流程图。
如图7所示，信息推荐方法包括操作S710～操作S730。
在操作S710，生成待推荐用户数据的初始特征和待推荐对象数据的初始特征。
在操作S720，将待推荐用户数据的初始特征和待推荐对象数据的初始特征输入深度学习模型，得到待推荐用户数据与待推荐对象数据之间的推荐交互数据。
在操作S730，输出推荐交互数据。
本实施例使用的深度学习模型可以是根据上述深度学习模型的训练方法进行训练得到的。
待推荐用户数据可以包括待推荐信息的用户的基本信息，对待推荐用户数据进行特征提取，可以得到待推荐用户数据的初始特征。待推荐对象数据包括推荐信息库中的对象的基本信息，对待推荐对象数据进行特征提取，可以得到待推荐对象数据的初始特征。
将待推荐用户数据的初始特征和待推荐对象数据的初始特征输入经训练的深度学习模型，可以得到待推荐用户数据和待推荐对象数据之间的推荐交互数据。
输出推荐交互数据，可以根据推荐交互数据确定是否将待推荐对象推荐给待推荐用户，实现待推荐用户的个性化推荐。
例如，推荐交互数据例如表征待推荐用户对待推荐对象进行操作的概率，概率越大，那么待推荐用户操作该待推荐对象的概率越大，因此，待推荐对象应该被推荐给该待推荐用户。反之，待推荐对象不应被推荐给待推荐用户。
本实施例使用经训练的深度学习模型确定用户与对象之间的推荐交互数据，根据推荐交互数据确定是否将待推荐对象推荐给用户，能够实现用户的个性化推荐。
图8是根据本公开的一个实施例超网络模型的训练方法、深度学习模型的训练方法以及信息推荐方法的整体关系示意图。
如图8所示，使用训练样本集和测试样本集进行超网络模型810的训练，超网络模型810的训练过程等同于超网络模型810的结构搜索过程。在超网络模型810的训练过程中，对模型结构参数不断进行梯度下降，训练结束后得到经训练的超网络模型810。
根据经训练的超网络模型810的结构参数可以确定超网络模型810中的哪些操作单元被保留，基于被保留的操作单元去确定包含最优操作组合的模型结构，将包含最优操作组合的模型结构确定为用于信息推荐的深度学习模型820的模型结构，从而得到待训练的深度学习模型820。
使用训练样本集和测试样本集继续训练深度学习模型820，得到经训练的深度学习模型820。使用该经训练的深度学习模型820可以用来进行个性化的用户推荐。
根据本公开的实施例，本公开还提供了一种超网络模型的训练装置、深度学习模型的训练装置以及信息推荐装置。
图9是根据本公开的一个实施例的超网络模型的训练装置的框图。
如图9所示，超网络模型包括适应性网络、预测网络和调整网络。该超网络模型的训练装置900包括第一生成模块901、第二生成模块902、调整模块903、输出结果确定模块904、损失确定模块905以及更新模块906。
第一生成模块901用于将训练样本的初始特征输入适应性网络，生成训练样本的适应性特征，其中，训练样本包括训练用户数据、训练对象数据以及训练用户数据和训练对象数据之间的训练交互数据。
第二生成模块902用于将测试样本的初始特征输入预测网络，生成测试样本的隐藏特征，其中，测试样本包括测试用户数据和测试对象数据，测试样本具有标签，标签表示测试用户数据与测试对象数据之间的测试交互数据。
调整模块903用于使用调整网络基于适应性特征调整隐藏特征。
输出结果确定模块904用于根据调整后的隐藏特征确定超网络模型的输出结果，输出结果表示测试用户数据与测试对象数据之间的预测交互数据。
损失确定模块905用于根据测试交互数据和预测交互数据，确定超网络模型的损失。
更新模块906用于根据损失更新调整网络的结构参数。
调整网络包括调整层，调整层包括操作单元，操作单元具有被选择执行的权重。调整模块903用于根据权重，使用调整层的操作单元基于适应性特征对隐藏特征进行加权调整，得到调整后的隐藏特征。
调整层包括多个调整结构，每个调整结构包括一个操作单元以及与该操作单元对应的分支单元，操作单元和分支单元各自具有被选择执行的权重。调整模块903包括第一输入单元、第一调整单元、第二输入单元以及第一返回单元。
第一输入单元用于将适应性特征和隐藏特征输入当前调整结构。
第一调整单元用于使用当前调整结构的操作单元和分支单元基于适应性特征对隐藏特征进行加权调整，得到经当前调整结构调整后的隐藏特征。
第二输入单元用于将经当前调整结构调整后的隐藏特征和适应性特征输入下一个调整结构。
第一返回单元用于将下一个调整结构确定为当前调整结构，返回使用当前调整结构的操作单元和分支单元基于适应性特征对隐藏特征进行加权调整的步骤，直至得到经最后一个调整结构调整后的隐藏特征，作为经调整层调整后的隐藏特征。
第一调整单元包括第一输出子单元、第二输出子单元和调整子单元。
第一输出子单元用于将适应性特征和隐藏特征输入当前调整结构的操作单元，得到操作输出。
第二输出子单元用于将隐藏特征输入当前调整结构的分支单元，得到分支输出。
调整子单元用于根据操作单元的权重、操作输出、分支单元的权重和分支输出，确定经当前调整结构调整后的隐藏特征。
更新模块906用于根据损失更新操作单元的权重。
调整网络包括多个调整层，预测网络包括多个预测层，多个调整层和多个预测层各自对应。调整模块903包括第三输入单元、第二调整单元、第四输入单元和第二返回单元。
第三输入单元用于将适应性特征和当前预测层的隐藏特征输入当前调整层，当前预测层和当前调整层对应。
第二调整单元用于根据操作单元的权重，使用当前调整层的操作单元基于适应性特征对隐藏特征进行加权调整，得到调整后的当前预测层的隐藏特征。
第四输入单元用于将调整后的当前预测层的隐藏特征输入下一个预测层，得到下一个预测层的隐藏特征。
第二返回单元用于将下一个预测层确定为新的当前预测层，将下一个调整层确定为新的当前调整层，针对新的当前预测层和新的当前调整层，返回将适应性特征和当前预测层的隐藏特征输入当前调整层的步骤，直至得到调整后的最后一个预测层的隐藏特征。
输出结果确定模块904用于根据调整后的最后一个预测层的隐藏特征，确定超网络模型的输出结果。
超网络模型的训练装置900还包括搜索空间确定模块、搜索空间优化模块和操作单元确定模块。
搜索空间确定模块用于根据操作单元集合，确定隐藏特征与适应性特征之间的多种操作关系，构成搜索空间。
搜索空间优化模块用于根据搜索空间中各操作关系之间的变换和组合，优化搜索空间。
操作单元确定模块用于根据优化后的搜索空间，从操作单元集合中确定多个操作单元。
图10是根据本公开的一个实施例的深度学习模型的训练装置的框图。
如图10所示，该深度学习模型的训练装置1000包括获取模块1001、保留模块1002、结构确定模块1003、模型确定模块1004和训练模块1005。
获取模块1001用于获取超网络模型，超网络模型是根据超网络模型的训练装置进行训练得到的。
保留模块1002用于根据超网络模型中的调整网络的结构参数，确定调整网络中被保留的操作单元。
结构确定模块1003用于基于调整网络中被保留的操作单元，确定新的模型结构。
模型确定模块1004用于将包含新的模型结构的超网络模型确定为深度学习模型。
训练模块1005用于使用训练样本对深度学习模型进行训练。
调整网络包括多个调整层，每个调整层包括多个操作单元，操作单元具有被选择执行的权重。保留模块1002包括选取单元和保留单元。
选取单元用于从多个调整层的所有操作单元的权重中选取最大的K个权重，K为大于1的整数。
保留单元用于保留与K个权重各自对应的K个操作单元。
图11是根据本公开的一个实施例的信息推荐装置的框图。
如图11所示，该信息推荐装置1100包括第三生成模块1101、处理模块1102和输出模块1103。
第三生成模块1101用于生成待推荐用户数据的初始特征和待推荐对象数据的初始特征。
处理模块1102用于将待推荐用户数据的初始特征和待推荐对象数据的初始特征输入深度学习模型，得到待推荐用户数据与待推荐对象数据之间的推荐交互数据。
输出模块1103用于输出推荐交互数据。
其中，深度学习模型是深度学习模型的训练装置进行训练得到的。
根据本公开的实施例，本公开还提供了一种电子设备、一种可读存储介质和一种计算机程序产品。
图12示出了可以用来实施本公开的实施例的示例电子设备1200的示意性框图。电子设备旨在表示各种形式的数字计算机，诸如，膝上型计算机、台式计算机、工作台、个人数字助理、服务器、刀片式服务器、大型计算机、和其它适合的计算机。电子设备还可以表示各种形式的移动装置，诸如，个人数字处理、蜂窝电话、智能电话、可穿戴设备和其它类似的计算装置。本文所示的部件、它们的连接和关系、以及它们的功能仅仅作为示例，并且不意在限制本文中描述的和/或者要求的本公开的实现。
如图12所示，设备1200包括计算单元1201，其可以根据存储在只读存储器(ROM)1202中的计算机程序或者从存储单元1208加载到随机访问存储器(RAM)1203中的计算机程序，来执行各种适当的动作和处理。在RAM 1203中，还可存储设备1200操作所需的各种程序和数据。计算单元1201、ROM 1202以及RAM 1203通过总线1204彼此相连。输入/输出(I/O)接口1205也连接至总线1204。
设备1200中的多个部件连接至I/O接口1205，包括：输入单元1206，例如键盘、鼠标等；输出单元1207，例如各种类型的显示器、扬声器等；存储单元1208，例如磁盘、光盘等；以及通信单元1209，例如网卡、调制解调器、无线通信收发机等。通信单元1209允许设备1200通过诸如因特网的计算机网络和/或各种电信网络与其他设备交换信息/数据。
计算单元1201可以是各种具有处理和计算能力的通用和/或专用处理组件。计算单元1201的一些示例包括但不限于中央处理单元(CPU)、图形处理单元(GPU)、各种专用的人工智能(AI)计算芯片、各种运行机器学习模型算法的计算单元、数字信号处理器(DSP)、以及任何适当的处理器、控制器、微控制器等。计算单元1201执行上文所描述的各个方法和处理，例如超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一。例如，在一些实施例中，超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一可被实现为计算机软件程序，其被有形地包含于机器可读介质，例如存储单元1208。在一些实施例中，计算机程序的部分或者全部可以经由ROM 1202和/或通信单元1209而被载入和/或安装到设备1200上。当计算机程序加载到RAM1203并由计算单元1201执行时，可以执行上文描述的超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一的一个或多个步骤。备选地，在其他实施例中，计算单元1201可以通过其他任何适当的方式(例如，借助于固件)而被配置为执行超网络模型的训练方法、深度学习模型的训练方法和信息推荐方法中的至少之一。
本文中以上描述的系统和技术的各种实施方式可以在数字电子电路系统、集成电路系统、场可编程门阵列(FPGA)、专用集成电路(ASIC)、专用标准产品(ASSP)、芯片上系统的系统(SOC)、复杂可编程逻辑设备(CPLD)、计算机硬件、固件、软件、和/或它们的组合中实现。这些各种实施方式可以包括：实施在一个或者多个计算机程序中，该一个或者多个计算机程序可在包括至少一个可编程处理器的可编程系统上执行和/或解释，该可编程处理器可以是专用或者通用可编程处理器，可以从存储系统、至少一个输入装置、和至少一个输出装置接收数据和指令，并且将数据和指令传输至该存储系统、该至少一个输入装置、和该至少一个输出装置。
用于实施本公开的方法的程序代码可以采用一个或多个编程语言的任何组合来编写。这些程序代码可以提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器或控制器，使得程序代码当由处理器或控制器执行时使流程图和/或框图中所规定的功能/操作被实施。程序代码可以完全在机器上执行、部分地在机器上执行，作为独立软件包部分地在机器上执行且部分地在远程机器上执行或完全在远程机器或服务器上执行。
在本公开的上下文中，机器可读介质可以是有形的介质，其可以包含或存储以供指令执行系统、装置或设备使用或与指令执行系统、装置或设备结合地使用的程序。机器可读介质可以是机器可读信号介质或机器可读储存介质。机器可读介质可以包括但不限于电子的、磁性的、光学的、电磁的、红外的、或半导体系统、装置或设备，或者上述内容的任何合适组合。机器可读存储介质的更具体示例会包括基于一个或多个线的电气连接、便携式计算机盘、硬盘、随机存取存储器(RAM)、只读存储器(ROM)、可擦除可编程只读存储器(EPROM或快闪存储器)、光纤、便捷式紧凑盘只读存储器(CD-ROM)、光学储存设备、磁储存设备、或上述内容的任何合适组合。
为了提供与用户的交互，可以在计算机上实施此处描述的系统和技术，该计算机具有：用于向用户显示信息的显示装置(例如，CRT(阴极射线管)或者LCD(液晶显示器)监视器)；以及键盘和指向装置(例如，鼠标或者轨迹球)，用户可以通过该键盘和该指向装置来将输入提供给计算机。其它种类的装置还可以用于提供与用户的交互；例如，提供给用户的反馈可以是任何形式的传感反馈(例如，视觉反馈、听觉反馈、或者触觉反馈)；并且可以用任何形式(包括声输入、语音输入或者、触觉输入)来接收来自用户的输入。
可以将此处描述的系统和技术实施在包括后台部件的计算系统(例如，作为数据服务器)、或者包括中间件部件的计算系统(例如，应用服务器)、或者包括前端部件的计算系统(例如，具有图形用户界面或者网络浏览器的用户计算机，用户可以通过该图形用户界面或者该网络浏览器来与此处描述的系统和技术的实施方式交互)、或者包括这种后台部件、中间件部件、或者前端部件的任何组合的计算系统中。可以通过任何形式或者介质的数字数据通信(例如，通信网络)来将系统的部件相互连接。通信网络的示例包括：局域网(LAN)、广域网(WAN)和互联网。
计算机系统可以包括客户端和服务器。客户端和服务器一般远离彼此并且通常通过通信网络进行交互。通过在相应的计算机上运行并且彼此具有客户端-服务器关系的计算机程序来产生客户端和服务器的关系。
应该理解，可以使用上面所示的各种形式的流程，重新排序、增加或删除步骤。例如，本公开中记载的各步骤可以并行地执行也可以顺序地执行也可以不同的次序执行，只要能够实现本公开公开的技术方案所期望的结果，本文在此不进行限制。
上述具体实施方式，并不构成对本公开保护范围的限制。本领域技术人员应该明白的是，根据设计要求和其他因素，可以进行各种修改、组合、子组合和替代。任何在本公开的精神和原则之内所作的修改、等同替换和改进等，均应包含在本公开保护范围之内。
Claims (23)
1.一种超网络模型的训练方法，所述超网络模型包括适应性网络、预测网络和调整网络；所述方法包括：
将训练样本的初始特征输入所述适应性网络，生成训练样本的适应性特征，其中，所述训练样本包括训练用户数据、训练对象数据以及所述训练用户数据和所述训练对象数据之间的训练交互数据；
将测试样本的初始特征输入所述预测网络，生成所述测试样本的隐藏特征，其中，所述测试样本包括测试用户数据和测试对象数据，所述测试样本具有标签，所述标签表示所述测试用户数据与所述测试对象数据之间的测试交互数据；
使用所述调整网络基于所述适应性特征调整所述隐藏特征；
根据调整后的隐藏特征确定所述超网络模型的输出结果，所述输出结果表示所述测试用户数据与测试对象数据之间的预测交互数据；
根据所述测试交互数据和所述预测交互数据，确定所述超网络模型的损失；以及
根据所述损失更新所述调整网络的结构参数。
2.根据权利要求1所述的方法，其中，所述调整网络包括调整层，所述调整层包括操作单元，所述操作单元具有被选择执行的权重；所述使用所述调整网络基于所述适应性特征调整所述隐藏特征包括：
根据所述权重，使用所述调整层的操作单元基于所述适应性特征对所述隐藏特征进行加权调整，得到调整后的隐藏特征。
3.根据权利要求2所述的方法，其中，所述调整层包括多个调整结构，每个调整结构包括一个所述操作单元以及与该操作单元对应的分支单元，所述操作单元和所述分支单元各自具有被选择执行的权重；所述根据所述权重，使用所述调整层的操作单元基于所述适应性特征对所述隐藏特征进行加权调整，得到调整后的隐藏特征包括：
将所述适应性特征和所述隐藏特征输入当前调整结构；
使用当前调整结构的操作单元和分支单元基于所述适应性特征对所述隐藏特征进行加权调整，得到经当前调整结构调整后的隐藏特征；
将所述经当前调整结构调整后的隐藏特征和所述适应性特征输入下一个调整结构；
将所述下一个调整结构确定为当前调整结构，返回使用当前调整结构的操作单元和分支单元基于所述适应性特征对所述隐藏特征进行加权调整的步骤，直至得到经最后一个调整结构调整后的隐藏特征，作为经所述调整层调整后的隐藏特征。
4.根据权利要求3所述的方法，其中，所述使用当前调整结构的操作单元和分支单元基于所述适应性特征对所述隐藏特征进行加权调整，得到经当前调整结构调整后的隐藏特征包括：
将所述适应性特征和所述隐藏特征输入所述当前调整结构的操作单元，得到操作输出；
将所述隐藏特征输入所述当前调整结构的分支单元，得到分支输出；
根据所述操作单元的权重、操作输出、分支单元的权重和分支输出，确定经当前调整结构调整后的隐藏特征。
5.根据权利要求2至4中任一项所述的方法，其中，所述根据所述损失更新所述调整网络的结构参数包括：
根据所述损失更新所述操作单元的权重。
6.根据权利要求2至4中任一项所述的方法，其中，所述调整网络包括多个所述调整层，所述预测网络包括多个预测层，所述多个调整层和所述多个预测层各自对应；
所述使用所述调整网络基于所述适应性特征调整所述隐藏特征包括：
将所述适应性特征和当前预测层的隐藏特征输入当前调整层，所述当前预测层和所述当前调整层对应；
根据所述操作单元的权重，使用当前调整层的操作单元基于所述适应性特征对所述隐藏特征进行加权调整，得到调整后的当前预测层的隐藏特征；
将调整后的当前预测层的隐藏特征输入下一个预测层，得到下一个预测层的隐藏特征；
将所述下一个预测层确定为新的当前预测层，将下一个调整层确定为新的当前调整层，针对新的当前预测层和新的当前调整层，返回将所述适应性特征和当前预测层的隐藏特征输入当前调整层的步骤，直至得到调整后的最后一个预测层的隐藏特征；
所述根据调整后的隐藏特征确定所述超网络模型的输出结果包括：
根据调整后的最后一个预测层的隐藏特征，确定所述超网络模型的输出结果。
7.根据权利要求1至6中任一项所述的方法，所述方法还包括：
根据操作单元集合，确定所述隐藏特征与所述适应性特征之间的多种操作关系，构成搜索空间；
根据所述搜索空间中各操作关系之间的变换和组合，优化所述搜索空间；以及
根据优化后的搜索空间，从所述操作单元集合中确定多个所述操作单元。
8.一种深度学习模型的训练方法，包括：
获取超网络模型，所述超网络模型是根据权利要求1至7中任一项所述的方法进行训练得到的；
根据所述超网络模型中的调整网络的结构参数，确定所述调整网络中被保留的操作单元；
基于所述调整网络中被保留的操作单元，确定新的模型结构；
将包含所述新的模型结构的超网络模型确定为深度学习模型；以及
使用训练样本对所述深度学习模型进行训练。
9.根据权利要求8所述的方法，其中，所述调整网络包括多个调整层，每个调整层包括多个操作单元，所述操作单元具有被选择执行的权重；所述根据所述超网络模型中的调整网络的结构参数，确定所述调整网络中被保留的操作单元包括：
从多个调整层的所有操作单元的权重中选取最大的K个权重，K为大于1的整数；以及
保留与所述K个权重各自对应的K个操作单元。
10.一种信息推荐方法，包括：
生成待推荐用户数据的初始特征和待推荐对象数据的初始特征；
将所述待推荐用户数据的初始特征和所述待推荐对象数据的初始特征输入深度学习模型，得到所述待推荐用户数据与所述待推荐对象数据之间的推荐交互数据；以及
输出所述推荐交互数据；
其中，所述深度学习模型是根据权利要求8或9所述的方法进行训练得到的。
11.一种超网络模型的训练装置，所述超网络模型包括适应性网络、预测网络和调整网络；所述装置包括：
第一生成模块，用于将训练样本的初始特征输入所述适应性网络，生成训练样本的适应性特征，其中，所述训练样本包括训练用户数据、训练对象数据以及所述训练用户数据和所述训练对象数据之间的训练交互数据；
第二生成模块，用于将测试样本的初始特征输入所述预测网络，生成所述测试样本的隐藏特征，其中，所述测试样本包括测试用户数据和测试对象数据，所述测试样本具有标签，所述标签表示所述测试用户数据与所述测试对象数据之间的测试交互数据；
调整模块，用于使用所述调整网络基于所述适应性特征调整所述隐藏特征；
输出结果确定模块，用于根据调整后的隐藏特征确定所述超网络模型的输出结果，所述输出结果表示所述测试用户数据与测试对象数据之间的预测交互数据；
损失确定模块，用于根据所述测试交互数据和所述预测交互数据，确定所述超网络模型的损失；以及
更新模块，用于根据所述损失更新所述调整网络的结构参数。
12.根据权利要求11所述的装置，其中，所述调整网络包括调整层，所述调整层包括操作单元，所述操作单元具有被选择执行的权重；所述调整模块，用于根据所述权重，使用所述调整层的操作单元基于所述适应性特征对所述隐藏特征进行加权调整，得到调整后的隐藏特征。
13.根据权利要求12所述的装置，其中，所述调整层包括多个调整结构，每个调整结构包括一个所述操作单元以及与该操作单元对应的分支单元，所述操作单元和所述分支单元各自具有被选择执行的权重；所述调整模块包括：
第一输入单元，用于将所述适应性特征和所述隐藏特征输入当前调整结构；
第一调整单元，用于使用当前调整结构的操作单元和分支单元基于所述适应性特征对所述隐藏特征进行加权调整，得到经当前调整结构调整后的隐藏特征；
第二输入单元，用于将所述经当前调整结构调整后的隐藏特征和所述适应性特征输入下一个调整结构；
第一返回单元，用于将所述下一个调整结构确定为当前调整结构，返回使用当前调整结构的操作单元和分支单元基于所述适应性特征对所述隐藏特征进行加权调整的步骤，直至得到经最后一个调整结构调整后的隐藏特征，作为经所述调整层调整后的隐藏特征。
14.根据权利要求13所述的装置，其中，所述第一调整单元包括：
第一输出子单元，用于将所述适应性特征和所述隐藏特征输入所述当前调整结构的操作单元，得到操作输出；
第二输出子单元，用于将所述隐藏特征输入所述当前调整结构的分支单元，得到分支输出；
调整子单元，用于根据所述操作单元的权重、操作输出、分支单元的权重和分支输出，确定经当前调整结构调整后的隐藏特征。
15.根据权利要求12至14中任一项所述的装置，其中，所述更新模块，用于根据所述损失更新所述操作单元的权重。
16.根据权利要求12至14中任一项所述的装置，其中，所述调整网络包括多个所述调整层，所述预测网络包括多个预测层，所述多个调整层和所述多个预测层各自对应；
所述调整模块包括：
第三输入单元，用于将所述适应性特征和当前预测层的隐藏特征输入当前调整层，所述当前预测层和所述当前调整层对应；
第二调整单元，用于根据所述操作单元的权重，使用当前调整层的操作单元基于所述适应性特征对所述隐藏特征进行加权调整，得到调整后的当前预测层的隐藏特征；
第四输入单元，用于将调整后的当前预测层的隐藏特征输入下一个预测层，得到下一个预测层的隐藏特征；
第二返回单元，用于将所述下一个预测层确定为新的当前预测层，将下一个调整层确定为新的当前调整层，针对新的当前预测层和新的当前调整层，返回将所述适应性特征和当前预测层的隐藏特征输入当前调整层的步骤，直至得到调整后的最后一个预测层的隐藏特征；
所述输出结果确定模块，用于根据调整后的最后一个预测层的隐藏特征，确定所述超网络模型的输出结果。
17.根据权利要求11至16中任一项所述的装置，所述装置还包括：
搜索空间确定模块，用于根据操作单元集合，确定所述隐藏特征与所述适应性特征之间的多种操作关系，构成搜索空间；
搜索空间优化模块，用于根据所述搜索空间中各操作关系之间的变换和组合，优化所述搜索空间；以及
操作单元确定模块，用于根据优化后的搜索空间，从所述操作单元集合中确定多个所述操作单元。
18.一种深度学习模型的训练装置，包括：
获取模块，用于获取超网络模型，所述超网络模型是根据权利要求11至17中任一项所述的装置进行训练得到的；
保留模块，用于根据所述超网络模型中的调整网络的结构参数，确定所述调整网络中被保留的操作单元；
结构确定模块，用于基于所述调整网络中被保留的操作单元，确定新的模型结构；
模型确定模块，用于将包含所述新的模型结构的超网络模型确定为深度学习模型；以及
训练模块，用于使用训练样本对所述深度学习模型进行训练。
19.根据权利要求18所述的装置，其中，所述调整网络包括多个调整层，每个调整层包括多个操作单元，所述操作单元具有被选择执行的权重；所述保留模块包括：
选取单元，用于从多个调整层的所有操作单元的权重中选取最大的K个权重，K为大于1的整数；以及
保留单元，用于保留与所述K个权重各自对应的K个操作单元。
20.一种信息推荐装置，包括：
第三生成模块，用于生成待推荐用户数据的初始特征和待推荐对象数据的初始特征；
处理模块，用于将所述待推荐用户数据的初始特征和所述待推荐对象数据的初始特征输入深度学习模型，得到所述待推荐用户数据与所述待推荐对象数据之间的推荐交互数据；以及
输出模块，用于输出所述推荐交互数据；
其中，所述深度学习模型是根据权利要求18或19所述的装置进行训练得到的。
21.一种电子设备，包括：
至少一个处理器；以及
与所述至少一个处理器通信连接的存储器；其中，
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至10中任一项所述的方法。
22.一种存储有计算机指令的非瞬时计算机可读存储介质，其中，所述计算机指令用于使所述计算机执行根据权利要求1至10中任一项所述的方法。
23.一种计算机程序产品，包括计算机程序，所述计算机程序存储于可读存储介质和电子设备其中至少之一上，所述计算机程序在被处理器执行时实现根据权利要求1至10中任一项所述的方法。
Priority Applications (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310148539.0A CN116166961B (zh) | 2023-02-16 | 2023-02-16 | 超网络模型、深度学习模型的训练方法、信息推荐方法 |
Applications Claiming Priority (1)
| Application Number | Priority Date | Filing Date | Title |
|---|---|---|---|
| CN202310148539.0A CN116166961B (zh) | 2023-02-16 | 2023-02-16 | 超网络模型、深度学习模型的训练方法、信息推荐方法 |
Publications (2)
| Publication Number | Publication Date |
|---|---|
| CN116166961A true CN116166961A (zh) | 2023-05-26 |
| CN116166961B CN116166961B (zh) | 2024-02-13 |
Family
ID=86417933
Family Applications (1)
| Application Number | Title | Priority Date | Filing Date |
|---|---|---|---|
| CN202310148539.0A Active CN116166961B (zh) | 2023-02-16 | 2023-02-16 | 超网络模型、深度学习模型的训练方法、信息推荐方法 |
Country Status (1)
| Country | Link |
|---|---|
| CN (1) | CN116166961B (zh) |
Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639753A (zh) * | 2020-05-29 | 2020-09-08 | 北京百度网讯科技有限公司 | 用于训练超网络的方法、装置、设备以及存储介质 |
| US20220092424A1 (en) * | 2020-09-18 | 2022-03-24 | Nielsen Consumer Llc | Methods, systems, apparatus and articles of manufacture to apply a regularization loss in machine learning models |
| CN115456708A (zh) * | 2022-08-19 | 2022-12-09 | 北京百度网讯科技有限公司 | 推荐模型的训练方法、装置、电子设备和存储介质 |
-
2023
- 2023-02-16 CN CN202310148539.0A patent/CN116166961B/zh active Active
Patent Citations (3)
| Publication number | Priority date | Publication date | Assignee | Title |
|---|---|---|---|---|
| CN111639753A (zh) * | 2020-05-29 | 2020-09-08 | 北京百度网讯科技有限公司 | 用于训练超网络的方法、装置、设备以及存储介质 |
| US20220092424A1 (en) * | 2020-09-18 | 2022-03-24 | Nielsen Consumer Llc | Methods, systems, apparatus and articles of manufacture to apply a regularization loss in machine learning models |
| CN115456708A (zh) * | 2022-08-19 | 2022-12-09 | 北京百度网讯科技有限公司 | 推荐模型的训练方法、装置、电子设备和存储介质 |
Also Published As
| Publication number | Publication date |
|---|---|
| CN116166961B (zh) | 2024-02-13 |
Similar Documents
| Publication | Publication Date | Title |
|---|---|---|
| US20210319366A1 (en) | Method, apparatus and device for generating model and storage medium | |
| CN112541124A (zh) | 生成多任务模型的方法、装置、设备、介质及程序产品 | |
| CN114564593A (zh) | 多模态知识图谱的补全方法、装置和电子设备 | |
| EP4113376A1 (en) | Image classification model training method and apparatus, computer device, and storage medium | |
| CN113239157B (zh) | 对话模型的训练方法、装置、设备和存储介质 | |
| CN110659657A (zh) | 训练模型的方法和装置 | |
| CN115690443B (zh) | 特征提取模型训练方法、图像分类方法及相关装置 | |
| CN113627536A (zh) | 模型训练、视频分类方法，装置，设备以及存储介质 | |
| CN113516185B (zh) | 模型训练的方法、装置、电子设备及存储介质 | |
| CN113205189B (zh) | 训练预测模型的方法、预测方法及装置 | |
| CN114428907A (zh) | 信息搜索方法、装置、电子设备及存储介质 | |
| CN117113087A (zh) | 模型训练方法、装置、电子设备以及存储介质 | |
| CN116166961B (zh) | 超网络模型、深度学习模型的训练方法、信息推荐方法 | |
| CN112288483A (zh) | 用于训练模型的方法和装置、用于生成信息的方法和装置 | |
| CN114860411B (zh) | 多任务学习方法、装置、电子设备和存储介质 | |
| CN113961765B (zh) | 基于神经网络模型的搜索方法、装置、设备和介质 | |
| CN113361621A (zh) | 用于训练模型的方法和装置 | |
| CN114707638A (zh) | 模型训练、对象识别方法及装置、设备、介质和产品 | |
| CN114037060A (zh) | 预训练模型的生成方法、装置、电子设备以及存储介质 | |
| CN114217933A (zh) | 多任务调度方法、装置、设备以及存储介质 | |
| CN113763922A (zh) | 音频合成方法和装置、存储介质及电子设备 | |
| CN113793167A (zh) | 用于生成信息的方法和装置 | |
| CN115034388B (zh) | 排序模型的量化参数的确定方法、装置及电子设备 | |
| US12038989B2 (en) | Methods for community search, method for training community search model, and electronic device | |
| CN114331379B (zh) | 用于输出待办任务的方法、模型训练方法和装置 |
Legal Events
| Date | Code | Title | Description |
|---|---|---|---|
| PB01 | Publication | ||
| PB01 | Publication | ||
| SE01 | Entry into force of request for substantive examination | ||
| SE01 | Entry into force of request for substantive examination | ||
| GR01 | Patent grant | ||
| GR01 | Patent grant |