CN113947185B - 任务处理网络生成、任务处理方法、装置、电子设备及存储介质 - Google Patents

任务处理网络生成、任务处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113947185B
CN113947185B CN202111160552.5A CN202111160552A CN113947185B CN 113947185 B CN113947185 B CN 113947185B CN 202111160552 A CN202111160552 A CN 202111160552A CN 113947185 B CN113947185 B CN 113947185B
Authority
CN
China
Prior art keywords
network
task
target
task processing
trained
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202111160552.5A
Other languages
English (en)
Other versions
CN113947185A (zh
Inventor
谈建超
郭义
袁欢
谢秀峰
杨森
刘霁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202111160552.5A priority Critical patent/CN113947185B/zh
Publication of CN113947185A publication Critical patent/CN113947185A/zh
Application granted granted Critical
Publication of CN113947185B publication Critical patent/CN113947185B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/40—Information retrieval; Database structures therefor; File system structures therefor of multimedia data, e.g. slideshows comprising image and additional audio data
    • G06F16/43—Querying
    • G06F16/435—Filtering based on additional data, e.g. user or group profiles
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections

Abstract

本公开关于一种任务处理网络生成、任务处理方法、装置、电子设备及存储介质，该方法包括获取目标任务对应的多媒体资源、任务标注结果和待训练网络；将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果；根据预设掩码信息确定网络层对应的目标通道数，结合预设映射信息，确定待训练网络对应的目标硬件性能数据；基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息；基于目标损失信息训练待训练网络，得到待压缩网络；根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到目标任务处理网络。利用本公开实施例可以在提升任务处理精度的同时，降低硬件性能消耗。

Description

任务处理网络生成、任务处理方法、装置、电子设备及存储 介质
技术领域
本公开涉及人工智能技术领域，尤其涉及一种任务处理网络生成、任务处理方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的迅猛发展，深度神经网络在计算机视觉、自然语言处理、广告推荐搜索等领域占据着越来越重要的地位。然而，其庞大的计算量与参数量耗费着大量的硬件计算资源，并且在实际运行中也常常无法做到实时处理，限制深度学习模型在工业界的大规模推广与应用。而模型压缩是去除模型冗余，提升模型速度的有效方法。
相关技术中的网络压缩方法，在进行网络压缩时，通常提供单一的压缩优化策略，如剪枝、蒸馏等，或是将这些单一压缩优化策略的简单线性组合使用，无法在压缩过程中，有效融入硬件性能的优化。导致相关技术中生成的任务处理网络，在应对以图像等多媒体资源为输入的应用场景中，在保持网络的任务处理精度的前提下，对多媒体资源等数据处理带来的硬件性能消耗往往依然很大，或者在降低对多媒体资源等数据处理带来的硬件性能消耗以后，对任务处理精度造成了较大损失。
发明内容
本公开提供一种任务处理网络生成、任务处理方法、装置、电子设备及存储介质，以至少解决相关技术中无法融入对硬件的优化，以及无法平衡任务处理网络对多媒体资源等数据处理带来的硬件性能消耗与任务处理精度等问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种任务处理网络生成方法，包括：
获取目标任务对应的训练数据和待训练网络，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果，所述待训练网络为对初始任务处理网络中待剪枝通道进行预设掩码信息插入处理后的网络；
将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
根据所述预设掩码信息确定所述待训练网络中网络层对应的目标通道数；
基于预设映射信息和所述目标通道数，确定所述待训练网络在任务处理过程中消耗的目标硬件性能数据，所述预设映射信息表征多种网络层中每种网络层在对应不同通道数时的硬件性能数据，所述硬件性能数据为进行任务处理消耗的硬件资源；
基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息；所述预设硬件性能约束数据表征所述待训练网络进行任务处理所消耗的预期上限硬件性能数据；
基于所述目标损失信息训练所述待训练网络，得到待压缩网络，在训练所述待训练网络过程中所述待训练网络中的网络参数和预设掩码信息不断更新；
根据所述待压缩网络中的预设掩码信息，对所述待压缩网络进行剪枝处理，得到目标任务处理网络。
可选的，所述方法还包括：
以所述待训练网络中网络层和/或所述网络层对应的通道为节点，目标连接关系对应预设掩码信息为边，生成所述待训练网络对应的网络结构图，所述目标连接关系为待训练网络中网络层间的连接关系和/或所述通道间的连接关系；
所述根据所述预设掩码信息确定所述待训练网络中网络层对应的目标通道数包括：
从所述网络结构图中每一节点相邻边中，确定每一所述节点的目标相邻边的数量，所述目标相邻边为每一所述节点的相邻边中对应的预设掩码信息非零的相邻边；
将每一所述网络层对应目标节点的目标相邻边的数量作为每一所述网络层对应的目标通道数，所述目标节点为每一所述网络层对应的节点和/或每一所述网络层对应通道所对应的节点。
可选的，所述方法还包括：
确定每一所述节点的前向相邻边对应预设掩码信息和，所述前向相邻边为指向每一所述节点的相邻边；
在更新所述预设掩码信息时，基于预设阈值对所述预设掩码信息和进行约束处理；
其中，所述预设阈值表征每一所述节点的前向相邻边的对应预设掩码信息和的约束值。
可选的，所述基于所述目标损失信息训练所述待训练网络，得到待压缩网络包括：
在所述目标损失信息未满足预设条件的情况下，更新所述待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络；
基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的步骤；
在所述目标损失信息满足所述预设条件，将当前的待训练网络作为所述待压缩网络。
可选的，所述预设映射信息中同一网络层对应的硬件性能数据，按照对应的通道数按序排列，所述更新所述待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络包括：
基于梯度下降法确定所述网络参数的参数梯度值；
从所述预设映射信息中，确定所述待训练网络中每一网络层对应的硬件性能数据的相邻硬件性能数据；
基于所述相邻硬件性能数据确定每一所述网络层对应通道上预设掩码信息的掩码梯度值；
基于所述参数梯度值更新所述待训练网络中的网络参数，以及基于所述掩码梯度值更新对应的预设掩码信息，得到所述更新后的待训练网络。
可选的，在所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果之前，所述方法包括：
对所述待训练网络中的网络参数进行离散化处理，得到离散化后的待训练网络；
所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果包括：
将所述多媒体资源输入所述离散化后的待训练网络进行任务处理，得到所述第一预测任务结果；
所述基于所述目标损失信息训练所述待训练网络，得到待压缩网络包括：
基于所述目标损失信息训练所述离散化后的待训练网络，得到待压缩网络。
可选的，所述基于所述目标损失信息训练所述离散化后的待训练网络，得到待压缩网络包括：
将所述离散化后的待训练网络中的离散化网络参数转换为离散前的网络参数，得到转换后网络；
根据所述目标损失信息训练所述转换后网络，得到所述待压缩网络。
可选的，所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
基于所述任务损失信息和所述硬件性能损失信息确定所述目标损失信息。
可选的，所述方法还包括：
将所述多媒体资源输入所述初始任务处理网络进行任务处理，得到第二预测任务结果；
所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
基于所述任务标注结果、所述第一预测任务结果、所述第二预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
可选的，所述基于所述任务标注结果、所述第一预测任务结果、所述第二预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
根据所述所述第一预测任务结果和所述第二预测任务结果确定蒸馏损失信息；
根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
基于所述任务损失信息、所述蒸馏损失信息和所述硬件性能损失信息确定所述目标损失信息。
可选的，所述根据所述待压缩网络中的预设掩码信息，对所述待压缩网络进行剪枝处理，得到目标任务处理网络包括：
去除所述待压缩网络中的预设掩码信息，得到待剪枝网络；
对所述待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到所述目标任务处理网络。
根据本公开实施例的第二方面，提供一种任务处理方法，包括：
将第一多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
可选的，所述方法还包括：
对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述将第一多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果包括：
将第一多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第一目标任务结果。
根据本公开实施例的第三方面，提供一种任务处理方法，包括：
将第二多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
可选的，所述方法还包括：
对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述将第二多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果包括：
将第二多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第二目标任务结果。
根据本公开实施例的第四方面，提供一种任务处理网络生成装置，包括：
信息获取模块，被配置为执行获取目标任务对应的训练数据和待训练网络，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果，所述待训练网络为对初始任务处理网络中待剪枝通道进行预设掩码信息插入处理后的网络；
第一任务处理模块，被配置为执行将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
目标通道数确定模块，被配置为执行根据所述预设掩码信息确定所述待训练网络中网络层对应的目标通道数；
目标硬件性能数据确定模块，被配置为执行基于预设映射信息和所述目标通道数，确定所述待训练网络在任务处理过程中消耗的目标硬件性能数据，所述预设映射信息表征多种网络层中每种网络层在对应不同通道数时的硬件性能数据，所述硬件性能数据为进行任务处理消耗的硬件资源；
目标损失信息确定模块，被配置为执行基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息；所述预设硬件性能约束数据表征所述待训练网络进行任务处理所消耗的预期上限硬件性能数据；
网络训练模块，被配置为执行基于所述目标损失信息训练所述待训练网络，得到待压缩网络，在训练所述待训练网络过程中所述待训练网络中的网络参数和预设掩码信息不断更新；
剪枝处理模块，被配置为执行根据所述待压缩网络中的预设掩码信息，对所述待压缩网络进行剪枝处理，得到目标任务处理网络。
可选的，所述装置还包括：
网络结构图生成模块，被配置为执行以所述待训练网络中网络层和/或所述网络层对应的通道为节点，目标连接关系对应预设掩码信息为边，生成所述待训练网络对应的网络结构图，所述目标连接关系为待训练网络中网络层间的连接关系和/或所述通道间的连接关系；
所述目标通道数确定模块包括：
相邻边数量确定单元，被配置为执行从所述网络结构图中每一节点相邻边中，确定每一所述节点的目标相邻边的数量，所述目标相邻边为每一所述节点的相邻边中对应的预设掩码信息非零的相邻边；
目标通道数确定单元，被配置为执行将每一所述网络层对应目标节点的目标相邻边的数量作为每一所述网络层对应的目标通道数，所述目标节点为每一所述网络层对应的节点和/或每一所述网络层对应通道所对应的节点。
可选的，所述装置还包括：
权重和确定模块，被配置为执行确定每一所述节点的前向相邻边对应预设掩码信息和，所述前向相邻边为指向每一所述节点的相邻边；
预设掩码信息更新模块，被配置为执行在更新所述预设掩码信息时，基于预设阈值对所述预设掩码信息和进行约束处理；
其中，所述预设阈值表征每一所述节点的前向相邻边的对应预设掩码信息和的约束值。
可选的，所述网络训练模块包括：
待训练网络更新单元，被配置为执行在所述目标损失信息未满足预设条件的情况下，更新所述待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络；
迭代处理单元，被配置为执行基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的步骤；
待压缩网络确定单元，被配置为执行在所述目标损失信息满足所述预设条件，将当前的待训练网络作为所述待压缩网络。
可选的，所述预设映射信息中同一网络层对应的硬件性能数据，按照对应的通道数按序排列，所述待训练网络更新单元包括：
参数梯度值确定单元，被配置为执行基于梯度下降法确定所述网络参数的参数梯度值；
相邻硬件性能数据确定单元，被配置为执行从所述预设映射信息中，确定所述待训练网络中每一网络层对应的硬件性能数据的相邻硬件性能数据；
掩码梯度值确定单元，被配置为执行基于所述相邻硬件性能数据确定每一所述网络层对应通道上预设掩码信息的掩码梯度值；
网络信息更新单元，被配置为执行基于所述参数梯度值更新所述待训练网络中的网络参数，以及基于所述掩码梯度值更新对应的预设掩码信息，得到所述更新后的待训练网络。
可选的，所述装置包括：
离散化处理单元，被配置为执行在所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果之前，对所述待训练网络中的网络参数进行离散化处理，得到离散化后的待训练网络；
所述第一任务处理模块还被配置为执行将所述多媒体资源输入所述离散化后的待训练网络进行任务处理，得到所述第一预测任务结果；
所述网络训练模块还被配置为执行基于所述目标损失信息训练所述离散化后的待训练网络，得到待压缩网络。
可选的，所述所述网络训练模块包括：
网络参数转换单元，被配置为执行将所述离散化后的待训练网络中的离散化网络参数转换为离散前的网络参数，得到转换后网络；
待压缩网络确定单元，被配置为执行根据所述目标损失信息训练所述转换后网络，得到所述待压缩网络。
可选的，所述目标损失信息确定模块包括：
第一任务损失信息确定单元，被配置为执行根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
第一硬件性能损失信息确定单元，被配置为执行根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
第一目标损失信息确定单元，被配置为执行基于所述任务损失信息和所述硬件性能损失信息确定所述目标损失信息。
可选的，所述装置还包括：
第二任务处理模块，被配置为执行将所述多媒体资源输入所述初始任务处理网络进行任务处理，得到第二预测任务结果；
所述目标损失信息确定模块还被配置为执行基于所述任务标注结果、所述第一预测任务结果、所述第二预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
可选的，所述目标损失信息确定模块包括：
第二任务损失信息确定单元，被配置为执行根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
蒸馏损失信息确定单元，被配置为执行根据所述所述第一预测任务结果和所述第二预测任务结果确定蒸馏损失信息；
硬件性能损失信息确定单元，被配置为执行根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
第二目标损失信息单元，被配置为执行基于所述任务损失信息、所述蒸馏损失信息和所述硬件性能损失信息确定所述目标损失信息。
可选的，所述剪枝处理模块包括：
预设掩码信息去除单元，被配置为执行去除所述待压缩网络中的预设掩码信息，得到待剪枝网络；
剪枝处理单元，被配置为执行对所述待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到所述目标任务处理网络。
根据本公开实施例的第五方面，提供一种任务处理装置，包括：
第三任务处理模块，被配置为执行将第一多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
可选的，所述装置还包括：
第一离散化处理模块，被配置为执行对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述第三任务处理模块还被配置为执行将第一多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第一目标任务结果。
根据本公开实施例的第六方面，提供一种任务处理装置，包括：
第四任务处理模块，被配置为执行将第二多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
目标关联任务执行模块，被配置为执行基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
可选的，所述装置还包括：
第二离散化处理模块，被配置为执行对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述第四任务处理模块还被配置为执行将第二多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第二目标任务结果。
根据本公开实施例的第七方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面、第二方面、第三方面中任一项所述的方法。
根据本公开实施例的第八方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面、第二方面、第三方面中任一项所述的方法。
根据本公开实施例的第九方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面、第二方面、第三方面中任一项所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过待训练网络中插入的预设掩码信息来确定网络层对应的目标通道数，并结合能够表征对应不同通道数的多种网络层和每种网络层在对应不同通道数时，进行任务处理消耗的硬件性能数据的预设映射信息，可以快速准确的确定待训练网络在任务处理过程中消耗的目标硬件性能数据，并在目标损失信息中融入了对任务处理带来的硬件性能损耗的约束，可以有效保证提升网络的任务处理精度同时，降低任务处理带来的硬件性能损耗，同时后续的任务处理速度和效率；同时在压缩过程中，融入对硬件的优化，也能更好提升后续训练好的目标任务处理网络的泛化性，有效应对多种业务场景。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图；
图2是根据一示例性实施例示出的一种任务处理网络生成方法的流程图；
图3是根据一示例性实施例示出的一种根据预设掩码信息确定待训练网络中网络层对应的目标通道数的流程图；
图4是根据一示例性实施例提供的一种网络结构图的示意图；
图5是根据一示例性实施例示出的一种基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的流程图；
图6是根据一示例性实施例示出的一种基于任务标注结果、第一预测任务结果、第二预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的流程图；
图7是根据一示例性实施例示出的一种更新待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络的流程图；
图8是根据一示例性实施例示出的一种任务处理网络生成装置框图；
图9是根据一示例性实施例示出的一种用于任务处理网络生成的电子设备的框图；
图10是根据一示例性实施例示出的一种用于任务处理网络生成的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器100和终端200。
在一个可选的实施例中，服务器100可以为用于训练目标任务处理网络。具体的，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是边缘计算节点，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中，终端200可以基于服务器100训练好的目标任务处理网络进行任务处理。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、智能可穿戴设备等类型的电子设备，也可以为运行于上述电子设备的软体，例如应用程序等。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如目标任务处理网络的训练也可以在终端200上实现。
本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
图2是根据一示例性实施例示出的一种任务处理网络生成方法的流程图，如图1所示，该任务处理网络生成方法用于终端电子设备中，包括以下步骤。
在步骤S201中，获取目标任务对应的训练数据和待训练网络。
本说明书实施例中，目标任务可以与基于训练数据训练得到的深度学习网络，所对应的用途相对应，具体的，可以结合实际应用场景的需求不同而不同。在一个具体的实施例中，以基于上述训练数据来训练分类网络为例，分类网络的用途可以为类别识别，相应的，目标任务可以为分类任务。在另一个具体的实施例中，以基于上述训练数据来训练信息召回网络为例，信息召回网络的用途可以为识别相应信息被推荐给相应用户的概率(即信息被召回的概率)；相应的，目标任务可以为信息被推荐的概率识别任务。
在一个具体的实施例中，上述训练数据可以包括多媒体资源和多媒体资源对应任务标注结果。本说明书实施例中，多媒体资源可以包括文本、图像等静态资源，也可以包括短视频等动态资源。在一个具体的实施例中，以训练分类网络为例，训练数据中的多媒体资源可以包括样本图像，训练数据中的多媒体资源对应任务标注结果可以包括样本图像中对象的类别标注信息(具体的类别可以结合场景需求不同而不同，例如可以为图像中的对象的类别，可选的，对象的类别可以包括猫、狗等)。在一个具体的实施例中，以目标任务为图像分类任务为例，上述多媒体资源可以为待分类图像，任务标注结果可以为待分类图像中对象的标注对象类别信息。相应的，上述获取目标任务对应的训练数据和待训练网络可以包括：获取图像分类任务对应的训练数据和待训练网络，其中，训练数据包括待分类图像(多媒体资源)和待分类图像对应对象类别信息(任务标注结果)。
在另一个具体的实施例中，以训练信息召回网络为例，即目标任务为信息召回任务，训练数据中的多媒体资源可以包括正样本数据(用户属性信息和用户行为过的多媒体资源的资源信息)和负样本数据(用户属性信息和用户未行为过的多媒体资源的资源信息)；训练数据中的多媒体资源对应任务标注结果可以包括多媒体资源被推荐给用户的概率(可选的，正样本数据对应的概率可以为1，负样本数据对应的概率可以为0)。具体的，用户属性信息可以包括但不限于用户性别、年龄、学历、地域等表征用户个人属性的信息，用户行为过的多媒体资源的资源信息可以为用于描述多媒体资源的信息，以多媒体资源为视频为例，资源属性信息可以包括发布者信息、播放时长等文本属性信息，还可以包括封面、视频帧图像等图像属性信息。相应的，上述获取目标任务对应的训练数据和待训练网络可以包括：获取信息召回任务对应的训练数据和待训练网络，其中，训练数据中的多媒体资源包括样本用户账号的用户属性信息和正样本多媒体资源的资源信息(用户行为过的多媒体资源的资源信息)、负样本多媒体资源的资源信息(用户未行为过的多媒体资源的资源信息)。训练数据中的多媒体资源对应任务标注结果可以包括正样本多媒体资源和负样本多媒体资源对应的标注推荐指标(被推荐给用户的概率)。
在一个可选的实施例中，待训练网络为对初始任务处理网络中待剪枝通道进行预设掩码信息插入处理后的网络。在一个可选的实施例中，上述初始任务处理网络可以为预先训练好的任务处理网络，该初始任务处理网络的任务处理精度满足相应的业务需求。具体的，网络中往往可以包括网络层，每个网络层包括相应的通道，具体的，通道可以为网络层进行任务处理过程中的算子。
在一个具体的实施例中，上述预设掩码信息可以为基于掩码学习参数和预设衰减参数确定的。将预设掩码信息插入预设深度学习网络，可以在预设深度学习网络训练过程中，通过预设掩码信息来学习到相应通道的特征信息在任务处理过程中重要程度。相应的，上述预设掩码信息可以用于学习相应通道的特征信息在任务处理过程中重要程度。具体的，预设衰减参数可以在待训练网络训练过程中衰减至小于等于第一预设阈值(即衰减至一个较小的数值)，具体的，第一预设阈值可以结合实际需求预先设置，例如0.001、0.0001等。在上述预设衰减参数小于等于第一预设阈值的情况下，即预设衰减参数较小的情况下，上述预设掩码信息为零，或预设掩码信息与一的差值小于等于第二预设阈值(即约等于1)，具体的，一般深度学习网络中待剪枝通道往往包括多个，相应的，预设掩码信息可以为多个掩码信息，第二预设阈值可以为网络训练好后的多个掩码信息各自与1之间差值中的最大值。可选的，初始任务处理网络中的待剪枝通道可以包括初始任务处理网络中全部网络层对应的通道，也可以结合实际业务需求，设定的某些通道。
在一个具体的实施例中，假设预设深度学习网络某一层有N个神经元(即N个通道)，x为掩码学习参数，x初始化是一个包含N个元素的向量，且每个元素的初始化数值为1(可选的，每个元素的初始化数值也可以为其他数值，可以结合实际应用需求预先设置)，∈为预设衰减参数，且∈的初始化数值为0.1(可选的，∈初始化数值也可以为其他数值，可以结合实际应用需求预先设置)，相应的，基于掩码学习参数和预设衰减参数确定的预设掩码信息可以为：
e＝x2/(x2+∈)
其中，e为预设掩码信息(e在x和∈对应具体数值的情况下，也对应具体的数值)，x可以在网络训练过程中学习调整；∈为预设衰减参数，在网络训练过程中不断衰减至小于等于第一预设阈值。
在步骤S203中，将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果。
在一个具体的实施例中，在将多媒体资源输入插入预设掩码信息后的待训练网络中，进行任务处理，可以在任务处理过程中，结合预设掩码信息屏蔽掉部分多媒体资源的特征信息，进而便于学习到不同通道的特征信息在任务处理过程中重要程度。
在一个具体的实施例中，以基于上述训练数据来训练分类网络为例，第一预设任务结果可以为预测的样本图像中对象的类别信息；以基于上述训练数据来训练信息召回网络为例，第一预测任务结果可以为预测的多媒体资源被推荐给用户的概率。
在一个具体的实施例中，以目标任务为图像分类任务为例，上述多媒体资源可以为待分类图像，第一预测任务结果可以为待分类图像对应的第一对象类别信息。相应的，上述将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果可以包括将待分类图像输入待训练网络进行分类识别，得到第一对象类别信息。
在一个具体的实施例中，以目标任务为信息召回任务为例，将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果可以包括：将用户属性信息和正样本多媒体资源的资源信息和负样本多媒体资源的资源信息输入待训练网络进行任务处理，得到第一预测推荐指标。
在步骤S205中，根据预设掩码信息确定待训练网络中网络层对应的目标通道数。
在一个可选的实施例中，根据预设掩码信息确定待训练网络中网络层对应的目标通道数可以包括统计待训练网络中每一网络层对应通道上的预设掩码信息中非0的数量，将非0的数量作为相应网络层对应的目标通道数。
在一个具体的实施例中，网络层对应的通道包括该网络层对应的输入通道和该网络层对应的输出通道。相应的，目标通道数可以包括目标输入通道数和目标输出通道数。
在一个可选的实施例中，如图3所示，上述法还可以包括：
在步骤S215中，以待训练网络中网络层和/或网络层对应的通道为节点，目标连接关系对应预设掩码信息为边，生成待训练网络对应的网络结构图。
在一个具体的实施例中，上述目标连接关系可以为待训练网络中网络层间的连接关系和/或通道间的连接关系；
相应的，如图3所示，上述根据预设掩码信息确定待训练网络中网络层对应的目标通道数可以包括：
在步骤S2051中，从网络结构图中每一节点相邻边中，确定每一节点的目标相邻边的数量，目标相邻边为每一节点的相邻边中对应的预设掩码信息非零的相邻边；
在步骤S2053中，将每一网络层对应目标节点的目标相邻边的数量作为每一网络层对应的目标通道数。
在一个具体的实施例中，上述目标节点为每一网络层对应的节点和/或每一网络层对应通道所对应的节点。
在一个具体的实施例中，上述从网络结构图中每一节点相邻边中，确定每一节点的目标相邻边的数量，具体的，目标相邻边可以为每一节点的相邻边中对应的预设掩码信息非零的相邻边。
在一个可选的实施例中，上述网络结构图可以为有向无环图，相应的，任一节点的相邻边可以包括指向该相邻边对应节点的前向相邻边和由该相邻边对应节点指向另一节点的后向相邻边。
在一个具体的实施例中，如图4所示，图4是根据一示例性实施例提供的一种网络结构图的示意图。具体的，图中圆圈为节点，圆圈之间的连线为边，e为边对应的预设掩码信息，以第i、j、k、l个节点为例，第i个节点和第l个节点间边对应的预设掩码信息为eil，第j个节点和第l个节点间边对应的预设掩码信息为ejl，第k个节点和第l个节点间边对应的预设掩码信息为ekl。
上述实施例中，将插入有预设掩码信息的待训练网络，抽象为网络结构图，可以更直观清楚的表征网络中网络层间的拓扑关系，提升对网络结构刻画的准确性和效率，进而可以快速准确的确定待训练网络中网络层对应的目标通道数。
在一个可选的实施例中，待训练网络中间隔的两个网络层间可以跳跃连接，即三个依次相连的网络层中第一个网络层和第三个网络层也进行连接。可选的，对于初始任务处理网络中间隔的两个网络层间本身跳跃连接的，可以直接复用跳跃连接的结构，对于没有跳跃连接的间隔的两个网络层间可以增加一个跳跃连接的结构。可选的，上述方法还可以包括：
确定每一节点的前向相邻边对应预设掩码信息和，前向相邻边为指向每一所述节点的相邻边；
相应的，在更新预设掩码信息时，基于预设阈值对预设掩码信息和进行约束处理；
本说明书实施例中，上述预设阈值表征每一节点的前向相邻边的对应预设掩码信息和的约束值。在一个具体的实施例中，假设约束值为1，相应的，结合图4所示，eil+ejl+ekl＝1，可选的，假设eil＝1，ejl＝0，ekl＝0，相应的，同一个网络层(节点l)对应的输入通道只保留一条，进而实现网络深度(网络层)的压缩。
上述实施例中，在进行预设掩码信息更新过程中，通过对前向相邻边对应的预设掩码信息和进行约束，可以实现网络深度的压缩，且结合网络结构图，可以实现对网络深度和网络宽度压缩的融合，更好的提升压缩效果和压缩效率。
在步骤S207中，基于预设映射信息和目标通道数，确定待训练网络在任务处理过程中消耗的目标硬件性能数据。
在一个可选的实施例中，不同种类的网络层在进行相应的处理过程中带来的硬件性能消耗往往不同，且同种网络层在具有不同输入输出通道的情况下，在进行相应的处理过程中带来的硬件性能消耗往往也不同。相应的，上述预设映射信息可以表征多种网络层中每种网络层在对应不同通道数时的硬件性能数据，硬件性能数据为进行任务处理消耗的硬件资源。具体的，预设映射信息可以包括对应不同通道数的多种网络层和每种网络层在对应不同通道数时，进行任务处理消耗的硬件性能数据；相应的，可以结合待训练网络中网络层对应目标通道数来确定待训练网络在任务处理过程中消耗的目标硬件性能数据。
在一个具体的实施例中，由于网络层对应输入通道和输出通道，相应的，网络层对应的通道数可以包括该网络层对应的输入通道数和输出通道数。
在一个具体的实施例中，上述硬件性能数据可以至少包括下述之一：
硬件时延数据、硬件内存数据和硬件能耗数据。
在一个具体的实施例中，可以预先结合多媒体资源对对应不同通道数的多种网络层在任务处理过程中消耗的硬件性能数据进行检测，并记录检测到硬件性能数据和对应通道数的网络层间的对应关系，得到上述预设映射信息。
在一个具体的实施例中，以目标任务为图像分类任务为例，相应的，上述基于预设映射信息和目标通道数，确定待训练网络在任务处理过程中消耗的目标硬件性能数据可以包括：基于预设映射信息和目标通道数，确定待训练网络在分类识别过程中消耗的目标硬件性能数据。
在一个具体的实施例中，以目标任务为信息召回任务为例，上述基于预设映射信息和目标通道数，确定待训练网络在任务处理过程中消耗的目标硬件性能数据可以包括：基于预设映射信息和目标通道数，确定待训练网络在信息召回处理过程中消耗的目标硬件性能数据。
在步骤S209中，基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
在一个可选的实施例中，上述预设硬件性能约束数据可以表征待训练网络进行任务处理所消耗的预期上限硬件性能数据；
在一个可选的实施例中，如图5所示，上述基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息可以包括以下步骤：
在步骤S501中，根据任务标注结果和第一预测任务结果确定任务损失信息；
在步骤S503中，根据目标硬件性能数据和预设硬件性能约束数据，确定硬件性能损失信息；
在步骤S505中，基于任务损失信息和硬件性能损失信息确定目标损失信息。
在一个具体的实施例中，任务结果损失信息可以表征任务标注结果和第一预测任务结果间的差异，任务结果损失信息的数值大小与网络的任务处理精度成反比，即任务结果损失信息的数值越小，网络的任务处理精度越高。
在一个具体的实施例中，根据任务标注结果和第一预测任务结果确定任务损失信息可以包括基于预设损失函数计算第一预测任务结果和任务标注结果间的任务损失信息。
在一个具体的实施例中，预设损失函数可以包括但不限于均方损失函数、平均绝对损失函数、交叉熵损失函数、欧式距离损失函数、指数损失函数等。
在一个具体的实施例中，硬件性能损失信息可以表征目标硬件性能数据和预设硬件性能约束数据间的差异。在一个可选的实施例中，目标硬件性能数据和预设硬件性能约束数据间的差值作为硬件性能损失信息。
在一个可选的实施例中，在具有多种硬件性能数据约束需求的场景下，可以多种硬件性能数据可以各自对应相应的预设硬件性能约束数据。可选的，可以将至少一种硬件性能数据对应的硬件性能损失信息和任务损失信息相加得到目标损失信息。
可选的，在基于任务损失信息和硬件性能损失信息确定目标损失信息过程中，也可以结合原始对偶(primal-dual)算法，确定硬件性能损失信息对应的权重系数，将至少一种硬件性能数据对应的硬件性能损失信息乘以相应的权重系数后的乘积，和任务损失信息相加得到目标损失信息。具体的，硬件性能损失信息对应的权重系数可以用于平衡硬件性能消耗与任务处理精度。
上述实施例中，在目标损失信息中融入了能够表征目标硬件性能数据和预设硬件性能约束数据间差异的硬件性能损失信息，可以保证在网络训练过程中，融入了对任务处理带来的硬件性能损耗的约束，可以有效保证提升网络的任务处理精度同时，降低任务处理带来的硬件性能损耗，同时也能更好提升后续训练好的目标任务处理网络的泛化性，有效应对多种业务场景。
在一个可选的实施例中，上述方法还可以包括：
将多媒体资源输入初始任务处理网络进行任务处理，得到第二预测任务结果；
相应的，上述基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
基于任务标注结果、第一预测任务结果、第二预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
在一个可选的实施例中，如图6所示，上述基于任务标注结果、第一预测任务结果、第二预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息可以包括以下步骤：
在步骤S601中，根据任务标注结果和第一预测任务结果确定任务损失信息；
在步骤S603中，根据第一预测任务结果和第二预测任务结果确定蒸馏损失信息；
在步骤S605中，根据目标硬件性能数据和预设硬件性能约束数据，确定硬件性能损失信息；
在步骤S607中，基于任务损失信息、蒸馏损失信息和硬件性能损失信息确定目标损失信息。
在一个可选的实施例中，蒸馏损失信息可以表征对初始任务处理网络进行压缩带来的任务处理结果差异。在一个可选的实施例中，可以将第一预测任务结果和第二预测任务结果间的欧式距离，作为上述蒸馏损失信息。可选的，也可以结合余弦距离等来确定蒸馏损失信息，本说明书实施例并不以上述为限。
在一个可选的实施例中，上述基于任务损失信息、蒸馏损失信息和硬件性能损失信息确定目标损失信息可以包括结合原始对偶(primal-dual)算法，确定硬件性能损失信息对应的权重系数，将至少一种硬件性能数据对应的硬件性能损失信息乘以相应的权重系数后的乘积，任务损失信息和蒸馏损失信息相加得到目标损失信息。可选的，硬件性能损失信息对应的权重系数可以结合梯度上升法。
在一个可选的实施例中，为了更好的降低网络的计算量，还可以结合待训练网络中网络层的通道数、参数量，选用的激活函数等来确定待训练网络在进行任务处理过程中的目标计算量，相应的，基于该目标计算量和预设计算约束量来确定计算量损失信息。
可选的，可以将目标计算量和预设计算约束量作为计算量损失信息，相应的，上述基于任务损失信息、蒸馏损失信息和硬件性能损失信息确定目标损失信息可以包括：基于任务损失信息、蒸馏损失信息、计算量损失信息和硬件性能损失信息确定目标损失信息。
在一个具体的实施例中，预设计算约束量表征待训练网络进行任务处理所消耗的预期上限计算量。
在一个可选的实施例中，硬件性能损失信息包括硬件时延数据、硬件内存数据和硬件能耗数据各自对应的硬件性能损失信息基于任务损失信息、蒸馏损失信息、计算量损失信息和硬件性能损失信息确定目标损失信息可以包括结合下述公式确定：
Figure BDA0003290014450000131
其中，
Figure BDA0003290014450000132
表示任务损失信息和蒸馏损失信息之和，w表示网络参数，
Figure BDA0003290014450000133
在i为1、2、3、4分别对应硬件时延数据对应的硬件性能损失信息、硬件内存数据对应的硬件性能损失信息、硬件能耗数据对应的硬件性能损失信息以及模型的计算量损失信息。Ri_budget在i为1、2、3、4分别对应硬件时延数据对应的预设硬件性能约束数据、硬件内存数据对应的预设硬件性能约束数据、硬件能耗数据对应的预设硬件性能约束数据以及预设模型计算约束量，λi第i个硬件性能损失信息对应的权重系数。
上述实施例中，结合第二预测任务结果和第一预测任务结果可以有效反映对初始任务处理网络进行压缩带来的任务处理结果差异，并将在目标损失信息中进一步融入能够表征该任务处理结果差异的蒸馏损失信息，可以更好的提升后续的任务处理精度，同时也能更好提升后续训练好的目标任务处理网络的泛化性，有效应对多种业务场景。
在一个具体的实施例中，以目标任务为图像分类任务为例，相应的，上述基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息可以包括：基于对象类别信息、第一对象类别信息、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
在一个具体的实施例中，以目标任务为信息召回任务为例，上述基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息可以包括：基于标注推荐指标、第一预测推荐指标、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
在步骤S211中，基于目标损失信息训练待训练网络，得到待压缩网络。
在一个具体的实施例中，在训练待训练网络过程中待训练网络中的网络参数和预设掩码信息不断更新。
在一个可选的实施例中，上述基于目标损失信息训练待训练网络，得到待压缩网络可以包括：在目标损失信息未满足预设条件的情况下，更新待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络；基于更新后的待训练网络重复将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果至基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的步骤；在目标损失信息满足预设条件的情况下，将当前的待训练网络作为待压缩网络。
在一个可选的实施例中，上述预设映射信息中同一网络层对应的硬件性能数据，按照对应的通道数按序排列，相应的，如图7所示，上述更新待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络可以包括以下步骤：
在步骤S701中，基于梯度下降法确定网络参数的参数梯度值；
在步骤S703中，从预设映射信息中，确定待训练网络中每一网络层对应的硬件性能数据的相邻硬件性能数据；
在步骤S705中，基于相邻硬件性能数据确定每一网络层对应通道上预设掩码信息的掩码梯度值；
在步骤S707中，基于参数梯度值更新待训练网络中的网络参数，以及基于掩码梯度值更新对应的预设掩码信息，得到更新后的待训练网络。
在一个具体的实施例中，每一网络层对应通道可以包括输入通道和输出通道，可选的，任一网络层对应的硬件性能数据的相邻硬件性能数据可以包括输入通道数与该网络层对应输入通道数相同，且输出通道数比该网络层对应输出通道数小1的网络层对应的硬件性能数据，以及输出通道数与该网络层对应输出通道数相同，且输入通道数比该网络层对应输入通道数小1的网络层对应的硬件性能数据。
在一个可选的实施例中，上述基于相邻硬件性能数据确定每一网络层对应通道上预设掩码信息的掩码梯度值可以包括将相邻硬件性能数据间的差值作为每一网络层对应通道上预设掩码信息的掩码梯度值。
在一个可选的实施例中，上述基于掩码梯度值更新对应的预设掩码信息可以包括基于掩码梯度值更新对应的预设掩码信息中的掩码学习参数。
在一个具体的实施例中，在开始训练的时候，可以初始化掩码学习参数和预设衰减参数的值，例如掩码学习参数初始化为1.0，预设衰减参数初始化为0.1。在一个具体的实施例中，在训练过程中，预设衰减参数可以在每次更新学习网络参数、掩码学习参数的过程中均更新(衰减)，也可以更新网络参数、掩码学习参数一定次数后，再更新预设衰减参数，例如，每更新网络参数、掩码学习参数1000次，更新一次预设衰减参数。在一个具体的实施例中，预设衰减参数更新过程中可以乘以大于0小于1的数值，例如0.98，以达到衰减的效果。
在一个可选的实施例中，目标损失信息满足预设条件可以为目标损失信息小于等于指定阈值，或前后两次训练过程中对应的目标损失信息间的差值小于一定阈值。本说明书实施例中，指定阈值和一定阈值可以为结合实际训练需求进行设置。
上述实施例中，在网络训练过程中，结合相邻硬件性能数据来进行对应预设掩码信息的更新优化，能够在适配整体的梯度下降优化算法的基础上，不会影响训练的收敛性，进而提升训练速度。
上述实施例中，在更新网络参数的同时，更新能够反映硬件性能消耗的预设掩码信息，可以保证在网络训练过程中，有效学习不同网络结构下的硬件性能消耗，进而更好平衡网络的任务处理精度和资源消耗量。
在步骤S213中，根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到目标任务处理网络。
在一个具体的实施例中，目标任务处理网络可以用于进行相应的任务处理。
在一个可选的实施例中，上述根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到目标任务处理网络可以包括：
去除待压缩网络中的预设掩码信息，得到待剪枝网络；
对待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到目标任务处理网络。
在一个具体的实施例中，任一为零的掩码学习参数对应的预设掩码信息等于零，当可以反映相应通道传输的特征信息在任务处理过程中重要程度的预设掩码信息等于零的情况下，可以精准的确定相应通道的特征信息在任务处理过程中不重要，相应的，不重要的通道剪掉，可以减小剪枝后的目标任务处理网络的参数量，进而提升剪枝后的目标任务处理网络进行任务处理时的运行速度。
上述实施例中，由于预设衰减参数在网络训练过程中会衰减至一个较小的数值，相应的，网络训练好后，任一非零的掩码学习参数对应的预设掩码信息均约等于一，而任一为零的掩码学习参数对应的预设掩码信息等于零，可以在精准剪去对任务处理不重要的通道的基础上，实现网络宽度的压缩，且有效保证剪枝后的目标任务处理网络的任务处理精度。
在实际应用中，在训练好的目标任务处理网络进行任务处理过程中，常常为了降低计算量，提升任务处理速度，会将目标任务处理网络的网络参数进行量化(离散化)后，再进行任务处理。
在一个可选的实施例中，在将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果之前，上述方法包括：
对待训练网络中的网络参数进行离散化处理，得到离散化后的待训练网络。
相应的，将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果包括：
将多媒体资源输入离散化后的待训练网络进行任务处理，得到第一预测任务结果；
基于目标损失信息训练待训练网络，得到待压缩网络包括：
基于目标损失信息训练离散化后的待训练网络，得到待压缩网络。
在一个具体的实施例中，上述基于目标损失信息训练离散化后的待训练网络，得到待压缩网络可以包括：
将离散化后的待训练网络中的离散化网络参数转换为离散前的网络参数，得到转换后网络；
根据目标损失信息训练转换后网络，得到待压缩网络。
在一个可选的实施例中，在对网络参数进行离散化处理可以包括将网络参数量化到256个浮点数，具体的，例如将网络参数量化为0-255。在一个具体的实施例中，为了保证网络的精度，可以在基于目标损失信息训练待训练网络，得到待压缩网络，即在需要进行网络参数调整时，以离散前的网络参数来计算梯度。相应的，在基于目标损失信息训练离散化后的待训练网络，得到待压缩网络过程中，即在结合目标损失信息确定出待训练网络还需要继续更新的情况，可以先将网络参数转换为离散前的网络参数，进而结合离散前的网络参数来计算参数梯度值，以更新网络参数。
上述实施例中，训练过程中模拟量化操作(伪量化)，可以有效保证后续的精度，且通过对网络参数离散化后，可以大大提升后续网络进行任务处理的速度和效率，减小处理过程中的内存占用。
在一个具体的实施例中，以目标任务为图像分类任务为例，目标任务处理网络可以为图像分类网络，相应的，上述根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到目标任务处理网络可以包括：根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到图像分类网络，相应的，该图像分类网络可以用于进行图像分类处理。
在一个具体的实施例中，以目标任务为信息召回任务为例，上述根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到目标任务处理网络可以包括：根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到信息召回网络，相应的，该信息召回网络可以用于进行信息召回处理。
由以上本说明书实施例提供的技术方案可见，本说明书中通过待训练网络中插入的预设掩码信息来确定网络层对应的目标通道数，并结合能够表征对应不同通道数的多种网络层和每种网络层在对应不同通道数时，进行任务处理消耗的硬件性能数据的预设映射信息，可以快速准确的确定待训练网络在任务处理过程中消耗的目标硬件性能数据，并在目标损失信息中融入了对任务处理带来的硬件性能损耗的约束，可以有效提升网络的任务处理精度同时，降低任务处理带来的硬件性能损耗，同时提升后续的任务处理速度和效率；同时在压缩过程中，融入对硬件的优化，也能更好提升后续训练好的目标任务处理网络的泛化性，有效应对图像分类、信息召回、目标检测等多种业务场景。
基于上述的任务处理网络生成方法得到的目标任务处理网络，本公开还提供一种任务处理方法，该任务处理方法可以用于终端、服务器等电子设备中，可以包括以下步骤：
将第一多媒体资源输入目标任务处理网络进行任务处理，得到第一多媒体资源对应的第一目标任务结果。
在一个具体的实施例中，上述的目标任务处理网络可以包括但不限于分类网络、目标检测网络、场景分割网络等，相应的，第一多媒体资源可以为需要分类、需要进行检测目标、或需要分割场景的图像。相应的，第一目标任务结果可以为类别信息，检测到的面部的位置信息，分割出的场景信息等。
上述实施例中，结合目标任务处理网络进行任务处理，由于该目标任务处理网络训练过程中，是在进行精度和硬件性能损耗约束的基础上，进行的剪枝处理，可以在提升任务处理精度的基础上，大大降低任务处理过程中对图像等多媒体资源处理的资源消耗量，进而有效提升硬件性能和任务处理效率。
可选的，上述方法还包括：
对目标任务处理网络进行离散化处理，得到离散后任务处理网络；
将第一多媒体资源输入目标任务处理网络进行任务处理，得到第一多媒体资源对应的第一目标任务结果包括：
将第一多媒体资源输入离散后任务处理网络进行任务处理，得到第一目标任务结果。
上述实施例中，通过对目标任务处理网络中的网络参数进行离散化，可以更好的提升任务处理速度，且通过在目标任务处理网络训练过程中的伪量化处理，可以有效保证任务处理精度，同时也能更好提升后续训练好的目标任务处理网络的泛化性，有效应对多种业务场景。
基于上述的任务处理网络生成方法得到的目标任务处理网络，本公开还提供一种任务处理方法，该任务处理方法可以用于终端或服务器中，可以包括以下步骤：
将第二多媒体资源输入目标任务处理网络进行任务处理，得到第二多媒体资源对应的第二目标任务结果；
基于第二目标任务结果对第二多媒体资源执行目标关联任务，目标关联任务为目标任务处理网络对应任务的关联任务。
在一个具体的实施例中，目标任务处理网络可以包括召回网络；以召回网络为例，第二多媒体资源可以为需要推荐多媒体资源的用户的属性信息和待推荐多媒体资源的资源信息；相应的，第二目标任务结果可以为任一待推荐多媒体资源被推荐给用户的概率。相应的，目标关联任务是基于待推荐多媒体资源被推荐给用户的概率从待推荐多媒体资源中筛选出，推荐给用户的多媒体资源，并推送给用户对应的终端。
上述实施例中，结合目标任务处理网络进行任务处理，在保证任务处理精度的基础上，大大降低任务处理过程中对图像等多媒体资源处理的资源消耗量，进而有效提升硬件性能和任务处理效率。
可选的，在目标任务处理网络训练过程中伪量化的情况下，上述方法还包括：
对目标任务处理网络进行离散化处理，得到离散后任务处理网络；
将第二多媒体资源输入目标任务处理网络进行任务处理，得到第二多媒体资源对应的第二目标任务结果包括：
将第二多媒体资源输入离散后任务处理网络进行任务处理，得到第二目标任务结果。
上述实施例中，通过对目标任务处理网络中的网络参数进行离散化，可以更好的提升任务处理速度，且通过在目标任务处理网络训练过程中的伪量化处理，可以有效保证任务处理精度。
图8是根据一示例性实施例示出的一种任务处理网络生成装置框图。参照图8，该装置包括：
信息获取模块810，被配置为执行获取目标任务对应的训练数据和待训练网络，训练数据包括多媒体资源和多媒体资源对应任务标注结果，待训练网络为对初始任务处理网络中待剪枝通道进行预设掩码信息插入处理后的网络；
第一任务处理模块820，被配置为执行将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果；
目标通道数确定模块830，被配置为执行根据预设掩码信息确定待训练网络中网络层对应的目标通道数；
目标硬件性能数据确定模块840，被配置为执行基于预设映射信息和目标通道数，确定待训练网络在任务处理过程中消耗的目标硬件性能数据，预设映射信息表征多种网络层中每种网络层在对应不同通道数时的硬件性能数据，硬件性能数据为进行任务处理消耗的硬件资源；
目标损失信息确定模块850，被配置为执行基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息；预设硬件性能约束数据表征待训练网络进行任务处理所消耗的预期上限硬件性能数据；
网络训练模块860，被配置为执行基于目标损失信息训练待训练网络，得到待压缩网络，在训练待训练网络过程中待训练网络中的网络参数和预设掩码信息不断更新；
剪枝处理模块870，被配置为执行根据待压缩网络中的预设掩码信息，对待压缩网络进行剪枝处理，得到目标任务处理网络。
可选的，上述装置还包括：
网络结构图生成模块，被配置为执行以待训练网络中网络层和/或网络层对应的通道为节点，目标连接关系对应预设掩码信息为边，生成待训练网络对应的网络结构图，目标连接关系为待训练网络中网络层间的连接关系和/或通道间的连接关系；
目标通道数确定模块830包括：
相邻边数量确定单元，被配置为执行从网络结构图中每一节点相邻边中，确定每一节点的目标相邻边的数量，目标相邻边为每一节点的相邻边中对应的预设掩码信息非零的相邻边；
目标通道数确定单元，被配置为执行将每一网络层对应目标节点的目标相邻边的数量作为每一网络层对应的目标通道数，目标节点为每一网络层对应的节点和/或每一网络层对应通道所对应的节点。
可选的，上述装置还包括：
权重和确定模块，被配置为执行确定每一节点的前向相邻边对应预设掩码信息和，前向相邻边为指向每一所述节点的相邻边；
预设掩码信息更新模块，被配置为执行在更新预设掩码信息时，基于预设阈值对预设掩码信息和进行约束处理；
其中，预设阈值表征每一节点的前向相邻边的对应预设掩码信息和的约束值。
可选的，网络训练模块860包括：
待训练网络更新单元，被配置为执行在目标损失信息未满足预设条件的情况下，更新待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络；
迭代处理单元，被配置为执行基于更新后的待训练网络重复将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果至基于任务标注结果、第一预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的步骤；
待压缩网络确定单元，被配置为执行在目标损失信息满足预设条件，将当前的待训练网络作为待压缩网络。
可选的，预设映射信息中同一网络层对应的硬件性能数据，按照对应的通道数按序排列，待训练网络更新单元包括：
参数梯度值确定单元，被配置为执行基于梯度下降法确定网络参数的参数梯度值；
相邻硬件性能数据确定单元，被配置为执行从预设映射信息中，确定待训练网络中每一网络层对应的硬件性能数据的相邻硬件性能数据；
掩码梯度值确定单元，被配置为执行基于相邻硬件性能数据确定每一网络层对应通道上预设掩码信息的掩码梯度值；
网络信息更新单元，被配置为执行基于参数梯度值更新待训练网络中的网络参数，以及基于掩码梯度值更新对应的预设掩码信息，得到更新后的待训练网络。
可选的，上述装置包括：
离散化处理单元，被配置为执行在将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果之前，对待训练网络中的网络参数进行离散化处理，得到离散化后的待训练网络；
第一任务处理模块820还被配置为执行将多媒体资源输入离散化后的待训练网络进行任务处理，得到第一预测任务结果；
网络训练模块860还被配置为执行基于目标损失信息训练离散化后的待训练网络，得到待压缩网络。
可选的，网络训练模块860包括：
网络参数转换单元，被配置为执行将离散化后的待训练网络中的离散化网络参数转换为离散前的网络参数，得到转换后网络；
待压缩网络确定单元，被配置为执行根据目标损失信息训练转换后网络，得到待压缩网络。
可选的，目标损失信息确定模块850包括：
第一任务损失信息确定单元，被配置为执行根据任务标注结果和第一预测任务结果确定任务损失信息；
第一硬件性能损失信息确定单元，被配置为执行根据目标硬件性能数据和预设硬件性能约束数据，确定硬件性能损失信息；
第一目标损失信息确定单元，被配置为执行基于任务损失信息和硬件性能损失信息确定目标损失信息。
可选的，上述装置还包括：
第二任务处理模块，被配置为执行将多媒体资源输入初始任务处理网络进行任务处理，得到第二预测任务结果；
目标损失信息确定模块850还被配置为执行基于任务标注结果、第一预测任务结果、第二预测任务结果、目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
可选的，目标损失信息确定模块850包括：
第二任务损失信息确定单元，被配置为执行根据任务标注结果和第一预测任务结果确定任务损失信息；
蒸馏损失信息确定单元，被配置为执行根据第一预测任务结果和第二预测任务结果确定蒸馏损失信息；
硬件性能损失信息确定单元，被配置为执行根据目标硬件性能数据和预设硬件性能约束数据，确定硬件性能损失信息；
第二目标损失信息单元，被配置为执行基于任务损失信息、蒸馏损失信息和硬件性能损失信息确定目标损失信息。
可选的，剪枝处理模块870包括：
预设掩码信息去除单元，被配置为执行去除待压缩网络中的预设掩码信息，得到待剪枝网络；
剪枝处理单元，被配置为执行对待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到目标任务处理网络。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种任务处理装置，包括：
第三任务处理模块，被配置为执行将第一多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到第一多媒体资源对应的第一目标任务结果。
可选的，上述装置还包括：
第一离散化处理模块，被配置为执行对目标任务处理网络进行离散化处理，得到离散后任务处理网络；
第三任务处理模块还被配置为执行将第一多媒体资源输入离散后任务处理网络进行任务处理，得到第一目标任务结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种任务处理装置，包括：
第四任务处理模块，被配置为执行将第二多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到第二多媒体资源对应的第二目标任务结果；
目标关联任务执行模块，被配置为执行基于第二目标任务结果对第二多媒体资源执行目标关联任务，目标关联任务为目标任务处理网络对应任务的关联任务。
可选的，上述装置还包括：
第二离散化处理模块，被配置为执行对目标任务处理网络进行离散化处理，得到离散后任务处理网络；
第四任务处理模块还被配置为执行将第二多媒体资源输入离散后任务处理网络进行任务处理，得到第二目标任务结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图9是根据一示例性实施例示出的一种用于任务处理网络生成或任务处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务处理网络生成或任务处理方法。
图10是根据一示例性实施例示出的一种用于任务处理网络生成或任务处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务处理网络生成或任务处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图9或图10中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的任务处理网络生成或任务处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的任务处理网络生成或任务处理方法。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的任务处理网络生成或任务处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (32)

1.一种任务处理网络生成方法，其特征在于，包括：
获取目标任务对应的训练数据和待训练网络，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果，所述待训练网络为对初始任务处理网络中待剪枝通道进行预设掩码信息插入处理后的网络，所述预设掩码信息表征所述待剪枝通道的特征信息在任务处理过程中重要程度；
将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
根据所述预设掩码信息确定所述待训练网络中网络层对应的目标通道数；
基于预设映射信息和所述目标通道数，确定所述待训练网络在任务处理过程中消耗的目标硬件性能数据，所述预设映射信息表征多种网络层中每种网络层在对应不同通道数时的硬件性能数据，所述硬件性能数据为进行任务处理消耗的硬件资源；
基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息；所述预设硬件性能约束数据表征所述待训练网络进行任务处理所消耗的预期上限硬件性能数据；
基于所述目标损失信息训练所述待训练网络，得到待压缩网络，在训练所述待训练网络过程中所述待训练网络中的网络参数和预设掩码信息不断更新；
根据所述待压缩网络中的预设掩码信息，对所述待压缩网络进行剪枝处理，得到目标任务处理网络。
2.根据权利要求1所述的任务处理网络生成方法，其特征在于，所述方法还包括：
以所述待训练网络中网络层和/或所述网络层对应的通道为节点，目标连接关系对应预设掩码信息为边，生成所述待训练网络对应的网络结构图，所述目标连接关系为待训练网络中网络层间的连接关系和/或所述通道间的连接关系；
所述根据所述预设掩码信息确定所述待训练网络中网络层对应的目标通道数包括：
从所述网络结构图中每一节点相邻边中，确定每一所述节点的目标相邻边的数量，所述目标相邻边为每一所述节点的相邻边中对应的预设掩码信息非零的相邻边；
将每一所述网络层对应目标节点的目标相邻边的数量作为每一所述网络层对应的目标通道数，所述目标节点为每一所述网络层对应的节点和/或每一所述网络层对应通道所对应的节点。
3.根据权利要求2所述的任务处理网络生成方法，其特征在于，所述方法还包括：
确定每一所述节点的前向相邻边对应预设掩码信息和，所述前向相邻边为指向每一所述节点的相邻边；
在更新所述预设掩码信息时，基于预设阈值对所述预设掩码信息和进行约束处理；
其中，所述预设阈值表征每一所述节点的前向相邻边的对应预设掩码信息和的约束值。
4.根据权利要求1所述的任务处理网络生成方法，其特征在于，所述基于所述目标损失信息训练所述待训练网络，得到待压缩网络包括：
在所述目标损失信息未满足预设条件的情况下，更新所述待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络；
基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的步骤；
在所述目标损失信息满足所述预设条件，将当前的待训练网络作为所述待压缩网络。
5.根据权利要求4所述的任务处理网络生成方法，其特征在于，所述预设映射信息中同一网络层对应的硬件性能数据，按照对应的通道数按序排列，所述更新所述待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络包括：
基于梯度下降法确定所述网络参数的参数梯度值；
从所述预设映射信息中，确定所述待训练网络中每一网络层对应的硬件性能数据的相邻硬件性能数据；
基于所述相邻硬件性能数据确定每一所述网络层对应通道上预设掩码信息的掩码梯度值；
基于所述参数梯度值更新所述待训练网络中的网络参数，以及基于所述掩码梯度值更新对应的预设掩码信息，得到所述更新后的待训练网络。
6.根据权利要求1所述的任务处理网络生成方法，其特征在于，在所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果之前，所述方法包括：
对所述待训练网络中的网络参数进行离散化处理，得到离散化后的待训练网络；
所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果包括：
将所述多媒体资源输入所述离散化后的待训练网络进行任务处理，得到所述第一预测任务结果；
所述基于所述目标损失信息训练所述待训练网络，得到待压缩网络包括：
基于所述目标损失信息训练所述离散化后的待训练网络，得到待压缩网络。
7.根据权利要求6所述的任务处理网络生成方法，其特征在于，所述基于所述目标损失信息训练所述离散化后的待训练网络，得到待压缩网络包括：
将所述离散化后的待训练网络中的离散化网络参数转换为离散前的网络参数，得到转换后网络；
根据所述目标损失信息训练所述转换后网络，得到所述待压缩网络。
8.根据权利要求1至7任一所述的任务处理网络生成方法，其特征在于，所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
基于所述任务损失信息和所述硬件性能损失信息确定所述目标损失信息。
9.根据权利要求1至7任一所述的任务处理网络生成方法，其特征在于，所述方法还包括：
将所述多媒体资源输入所述初始任务处理网络进行任务处理，得到第二预测任务结果；
所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
基于所述任务标注结果、所述第一预测任务结果、所述第二预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
10.根据权利要求9所述的任务处理网络生成方法，其特征在于，所述基于所述任务标注结果、所述第一预测任务结果、所述第二预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息包括：
根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
根据所述第一预测任务结果和所述第二预测任务结果确定蒸馏损失信息；
根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
基于所述任务损失信息、所述蒸馏损失信息和所述硬件性能损失信息确定所述目标损失信息。
11.根据权利要求1至7任一所述的任务处理网络生成方法，其特征在于，所述根据所述待压缩网络中的预设掩码信息，对所述待压缩网络进行剪枝处理，得到目标任务处理网络包括：
去除所述待压缩网络中的预设掩码信息，得到待剪枝网络；
对所述待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到所述目标任务处理网络。
12.一种任务处理方法，其特征在于，包括：
将第一多媒体资源输入根据权利要求1至11任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
13.根据权利要求12所述的任务处理方法，其特征在于，所述方法还包括：
对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述将第一多媒体资源输入根据权利要求1至11任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果包括：
将第一多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第一目标任务结果。
14.一种任务处理方法，其特征在于，包括：
将第二多媒体资源输入根据权利要求1至11任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
15.根据权利要求14所述的任务处理方法，其特征在于，所述方法还包括：
对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述将第二多媒体资源输入根据权利要求1至11任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果包括：
将第二多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第二目标任务结果。
16.一种任务处理网络生成装置，其特征在于，包括：
信息获取模块，被配置为执行获取目标任务对应的训练数据和待训练网络，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果，所述待训练网络为对初始任务处理网络中待剪枝通道进行预设掩码信息插入处理后的网络，所述预设掩码信息表征所述待剪枝通道的特征信息在任务处理过程中重要程度；
第一任务处理模块，被配置为执行将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
目标通道数确定模块，被配置为执行根据所述预设掩码信息确定所述待训练网络中网络层对应的目标通道数；
目标硬件性能数据确定模块，被配置为执行基于预设映射信息和所述目标通道数，确定所述待训练网络在任务处理过程中消耗的目标硬件性能数据，所述预设映射信息表征多种网络层中每种网络层在对应不同通道数时的硬件性能数据，所述硬件性能数据为进行任务处理消耗的硬件资源；
目标损失信息确定模块，被配置为执行基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息；所述预设硬件性能约束数据表征所述待训练网络进行任务处理所消耗的预期上限硬件性能数据；
网络训练模块，被配置为执行基于所述目标损失信息训练所述待训练网络，得到待压缩网络，在训练所述待训练网络过程中所述待训练网络中的网络参数和预设掩码信息不断更新；
剪枝处理模块，被配置为执行根据所述待压缩网络中的预设掩码信息，对所述待压缩网络进行剪枝处理，得到目标任务处理网络。
17.根据权利要求16所述的任务处理网络生成装置，其特征在于，所述装置还包括：
网络结构图生成模块，被配置为执行以所述待训练网络中网络层和/或所述网络层对应的通道为节点，目标连接关系对应预设掩码信息为边，生成所述待训练网络对应的网络结构图，所述目标连接关系为待训练网络中网络层间的连接关系和/或所述通道间的连接关系；
所述目标通道数确定模块包括：
相邻边数量确定单元，被配置为执行从所述网络结构图中每一节点相邻边中，确定每一所述节点的目标相邻边的数量，所述目标相邻边为每一所述节点的相邻边中对应的预设掩码信息非零的相邻边；
目标通道数确定单元，被配置为执行将每一所述网络层对应目标节点的目标相邻边的数量作为每一所述网络层对应的目标通道数，所述目标节点为每一所述网络层对应的节点和/或每一所述网络层对应通道所对应的节点。
18.根据权利要求17所述的任务处理网络生成装置，其特征在于，所述装置还包括：
权重和确定模块，被配置为执行确定每一所述节点的前向相邻边对应预设掩码信息和，所述前向相邻边为指向每一所述节点的相邻边；
预设掩码信息更新模块，被配置为执行在更新所述预设掩码信息时，基于预设阈值对所述预设掩码信息和进行约束处理；
其中，所述预设阈值表征每一所述节点的前向相邻边的对应预设掩码信息和的约束值。
19.根据权利要求17所述的任务处理网络生成装置，其特征在于，所述网络训练模块包括：
待训练网络更新单元，被配置为执行在所述目标损失信息未满足预设条件的情况下，更新所述待训练网络中的网络参数和预设掩码信息，得到更新后的待训练网络；
迭代处理单元，被配置为执行基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述基于所述任务标注结果、所述第一预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息的步骤；
待压缩网络确定单元，被配置为执行在所述目标损失信息满足所述预设条件，将当前的待训练网络作为所述待压缩网络。
20.根据权利要求19所述的任务处理网络生成装置，其特征在于，所述预设映射信息中同一网络层对应的硬件性能数据，按照对应的通道数按序排列，所述待训练网络更新单元包括：
参数梯度值确定单元，被配置为执行基于梯度下降法确定所述网络参数的参数梯度值；
相邻硬件性能数据确定单元，被配置为执行从所述预设映射信息中，确定所述待训练网络中每一网络层对应的硬件性能数据的相邻硬件性能数据；
掩码梯度值确定单元，被配置为执行基于所述相邻硬件性能数据确定每一所述网络层对应通道上预设掩码信息的掩码梯度值；
网络信息更新单元，被配置为执行基于所述参数梯度值更新所述待训练网络中的网络参数，以及基于所述掩码梯度值更新对应的预设掩码信息，得到所述更新后的待训练网络。
21.根据权利要求17所述的任务处理网络生成装置，其特征在于，所述装置包括：
离散化处理单元，被配置为执行在所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果之前，对所述待训练网络中的网络参数进行离散化处理，得到离散化后的待训练网络；
所述第一任务处理模块还被配置为执行将所述多媒体资源输入所述离散化后的待训练网络进行任务处理，得到所述第一预测任务结果；
所述网络训练模块还被配置为执行基于所述目标损失信息训练所述离散化后的待训练网络，得到待压缩网络。
22.根据权利要求21所述的任务处理网络生成装置，其特征在于，所述网络训练模块包括：
网络参数转换单元，被配置为执行将所述离散化后的待训练网络中的离散化网络参数转换为离散前的网络参数，得到转换后网络；
待压缩网络确定单元，被配置为执行根据所述目标损失信息训练所述转换后网络，得到所述待压缩网络。
23.根据权利要求17至22任一所述的任务处理网络生成装置，其特征在于，所述目标损失信息确定模块包括：
第一任务损失信息确定单元，被配置为执行根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
第一硬件性能损失信息确定单元，被配置为执行根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
第一目标损失信息确定单元，被配置为执行基于所述任务损失信息和所述硬件性能损失信息确定所述目标损失信息。
24.根据权利要求17至22任一所述的任务处理网络生成装置，其特征在于，所述装置还包括：
第二任务处理模块，被配置为执行将所述多媒体资源输入所述初始任务处理网络进行任务处理，得到第二预测任务结果；
所述目标损失信息确定模块还被配置为执行基于所述任务标注结果、所述第一预测任务结果、所述第二预测任务结果、所述目标硬件性能数据和预设硬件性能约束数据，确定目标损失信息。
25.根据权利要求24所述的任务处理网络生成装置，其特征在于，所述目标损失信息确定模块包括：
第二任务损失信息确定单元，被配置为执行根据所述任务标注结果和所述第一预测任务结果确定任务损失信息；
蒸馏损失信息确定单元，被配置为执行根据所述第一预测任务结果和所述第二预测任务结果确定蒸馏损失信息；
硬件性能损失信息确定单元，被配置为执行根据所述目标硬件性能数据和所述预设硬件性能约束数据，确定硬件性能损失信息；
第二目标损失信息单元，被配置为执行基于所述任务损失信息、所述蒸馏损失信息和所述硬件性能损失信息确定所述目标损失信息。
26.根据权利要求17至22任一所述的任务处理网络生成装置，其特征在于，所述剪枝处理模块包括：
预设掩码信息去除单元，被配置为执行去除所述待压缩网络中的预设掩码信息，得到待剪枝网络；
剪枝处理单元，被配置为执行对所述待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到所述目标任务处理网络。
27.一种任务处理装置，其特征在于，包括：
第三任务处理模块，被配置为执行将第一多媒体资源输入根据权利要求1至11任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
28.根据权利要求27所述的任务处理装置，其特征在于，所述装置还包括：
第一离散化处理模块，被配置为执行对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述第三任务处理模块还被配置为执行将第一多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第一目标任务结果。
29.一种任务处理装置，其特征在于，包括：
第四任务处理模块，被配置为执行将第二多媒体资源输入根据权利要求1至11任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
目标关联任务执行模块，被配置为执行基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
30.根据权利要求29所述的任务处理装置，其特征在于，所述装置还包括：
第二离散化处理模块，被配置为执行对所述目标任务处理网络进行离散化处理，得到离散后任务处理网络；
所述第四任务处理模块还被配置为执行将第二多媒体资源输入所述离散后任务处理网络进行任务处理，得到所述第二目标任务结果。
31.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至11中任一项所述的任务处理网络生成方法，或如权利要求12至15任一项所述的任务处理方法。
32.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行如权利要求1至11中任一项所述的任务处理网络生成方法，或如权利要求12至15任一项所述的任务处理方法。
CN202111160552.5A 2021-09-30 2021-09-30 任务处理网络生成、任务处理方法、装置、电子设备及存储介质 Active CN113947185B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202111160552.5A CN113947185B (zh) 2021-09-30 2021-09-30 任务处理网络生成、任务处理方法、装置、电子设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202111160552.5A CN113947185B (zh) 2021-09-30 2021-09-30 任务处理网络生成、任务处理方法、装置、电子设备及存储介质

Publications (2)

Publication Number Publication Date
CN113947185A CN113947185A (zh) 2022-01-18
CN113947185B true CN113947185B (zh) 2022-11-18

Family

ID=79329136

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202111160552.5A Active CN113947185B (zh) 2021-09-30 2021-09-30 任务处理网络生成、任务处理方法、装置、电子设备及存储介质

Country Status (1)

Country Link
CN (1) CN113947185B (zh)

Families Citing this family (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN115170917B (zh) * 2022-06-20 2023-11-07 美的集团(上海)有限公司 图像处理方法、电子设备及存储介质

Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689224A (zh) * 2016-08-22 2018-02-13 北京深鉴科技有限公司 合理使用掩码的深度神经网络压缩方法
CN108957187A (zh) * 2018-07-17 2018-12-07 国网辽宁省电力有限公司电力科学研究院 一种交流模拟量通道硬件的测试装置
CN110764774A (zh) * 2019-09-05 2020-02-07 桂林航天工业学院 一种基于dsp平台sift算法硬件加速方法
CN111340225A (zh) * 2020-02-28 2020-06-26 中云智慧（北京）科技有限公司 一种基于深度卷积神经网络模型压缩和加速方法
CN111444760A (zh) * 2020-02-19 2020-07-24 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
CN111832705A (zh) * 2020-06-30 2020-10-27 南京航空航天大学 一种卷积神经网络的压缩方法及其实现电路
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN112418424A (zh) * 2020-12-11 2021-02-26 南京大学 一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法
CN112686382A (zh) * 2020-12-30 2021-04-20 中山大学 一种卷积模型轻量化方法及系统
WO2021080873A1 (en) * 2019-10-25 2021-04-29 Alibaba Group Holding Limited Structured pruning for machine learning model
CN113076938A (zh) * 2021-05-06 2021-07-06 广西师范大学 一种结合嵌入式硬件信息的深度学习目标检测方法
CN113269312A (zh) * 2021-06-03 2021-08-17 华南理工大学 一种联合量化与剪枝搜索的模型压缩方法及其系统
WO2021164752A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 一种神经网络通道参数的搜索方法及相关设备
CN113361698A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 神经网络模型的处理方法和装置、数据处理方法和装置
EP3876166A2 (en) * 2020-10-23 2021-09-08 Beijing Baidu Netcom Science And Technology Co. Ltd. Method and apparatus for determining network model pruning strategy, device and storage medium

Family Cites Families (12)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US9760159B2 (en) * 2015-04-08 2017-09-12 Microsoft Technology Licensing, Llc Dynamic power routing to hardware accelerators
US10832123B2 (en) * 2016-08-12 2020-11-10 Xilinx Technology Beijing Limited Compression of deep neural networks with proper use of mask
US11429862B2 (en) * 2018-03-20 2022-08-30 Sri International Dynamic adaptation of deep neural networks
CN109711532B (zh) * 2018-12-06 2023-05-12 东南大学 一种针对硬件实现稀疏化卷积神经网络推断的加速方法
CN109978142B (zh) * 2019-03-29 2022-11-29 腾讯科技（深圳）有限公司 神经网络模型的压缩方法和装置
CN110163370B (zh) * 2019-05-24 2021-09-17 上海肇观电子科技有限公司 深度神经网络的压缩方法、芯片、电子设备及介质
WO2021007812A1 (zh) * 2019-07-17 2021-01-21 深圳大学 一种深度神经网络超参数优化方法、电子设备及存储介质
US11640528B2 (en) * 2019-10-22 2023-05-02 Baidu Usa Llc Method, electronic device and computer readable medium for information processing for accelerating neural network training
CN113011575A (zh) * 2019-12-19 2021-06-22 华为技术有限公司 神经网络模型更新方法、图像处理方法及装置
US20210256384A1 (en) * 2020-02-14 2021-08-19 Northeastern University Computer-implemented methods and systems for achieving real-time dnn execution on mobile devices with pattern-based weight pruning
CN111753895A (zh) * 2020-06-12 2020-10-09 北京小米松果电子有限公司 数据处理方法、装置及存储介质
CN112270686B (zh) * 2020-12-24 2021-03-16 北京达佳互联信息技术有限公司 图像分割模型训练、图像分割方法、装置及电子设备

Patent Citations (16)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN107689224A (zh) * 2016-08-22 2018-02-13 北京深鉴科技有限公司 合理使用掩码的深度神经网络压缩方法
CN108957187A (zh) * 2018-07-17 2018-12-07 国网辽宁省电力有限公司电力科学研究院 一种交流模拟量通道硬件的测试装置
CN110764774A (zh) * 2019-09-05 2020-02-07 桂林航天工业学院 一种基于dsp平台sift算法硬件加速方法
WO2021080873A1 (en) * 2019-10-25 2021-04-29 Alibaba Group Holding Limited Structured pruning for machine learning model
CN111444760A (zh) * 2020-02-19 2020-07-24 天津大学 一种基于剪枝与知识蒸馏的交通标志检测与识别方法
WO2021164752A1 (zh) * 2020-02-21 2021-08-26 华为技术有限公司 一种神经网络通道参数的搜索方法及相关设备
CN111340225A (zh) * 2020-02-28 2020-06-26 中云智慧（北京）科技有限公司 一种基于深度卷积神经网络模型压缩和加速方法
CN113361698A (zh) * 2020-03-05 2021-09-07 阿里巴巴集团控股有限公司 神经网络模型的处理方法和装置、数据处理方法和装置
CN111832705A (zh) * 2020-06-30 2020-10-27 南京航空航天大学 一种卷积神经网络的压缩方法及其实现电路
CN111881966A (zh) * 2020-07-20 2020-11-03 北京市商汤科技开发有限公司 神经网络训练方法、装置、设备和存储介质
EP3876166A2 (en) * 2020-10-23 2021-09-08 Beijing Baidu Netcom Science And Technology Co. Ltd. Method and apparatus for determining network model pruning strategy, device and storage medium
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
CN112418424A (zh) * 2020-12-11 2021-02-26 南京大学 一种具有极高压缩比的剪枝深度神经网络的分层稀疏编码方法
CN112686382A (zh) * 2020-12-30 2021-04-20 中山大学 一种卷积模型轻量化方法及系统
CN113076938A (zh) * 2021-05-06 2021-07-06 广西师范大学 一种结合嵌入式硬件信息的深度学习目标检测方法
CN113269312A (zh) * 2021-06-03 2021-08-17 华南理工大学 一种联合量化与剪枝搜索的模型压缩方法及其系统

Non-Patent Citations (8)

* Cited by examiner, † Cited by third party
Title
"Adaptive loss aware quantization for multi bit networks";QU Zhongnan等;《2020 IEEE/CVF Conference on Computer Vision and Pattern Recognition》;20201231;第123-130页 *
"Autocompress：an automatic DNN structured pruning framework for ultra high compression rates";Liu Ning等;《Proceedings of the AAAI Conference on Artificial Intelligence》;20200831;第34卷(第4期);第4876-4883页 *
"Haq：Hardware-aware automated quantization with mixed precision";Wang K等;《Proceedings of the IEEE/CVF COnference on Computer Vision and Pattern Recognition》;20191231;第8612-8620页 *
"NetAdapt：platform-aware neural network adaption for mobile applications";Yang T J等;《Proceedings of the 15th European Conference on Computer Vison》;20181231;第289-304页 *
"基于深度神经网络二阶信息的结构化剪枝算法";杨鑫等;《计算机工程》;20210228;第47卷(第2期);第12-18页 *
"基于统计分析的卷积神经网络模型压缩方法";杨扬等;《计算机系统应用》;20181231;第27卷(第8期);第49-55页 *
"深度神经网络结构搜索综述";唐浪;《中国图象图形学报》;20210228;第26卷(第2期);第0245-0264页 *
"面向嵌入式应用的深度神经网络模型压缩技术综述";王磊等;《北京交通大学学报》;20171231;第41卷(第6期);第34-41页 *

Also Published As

Publication number Publication date
CN113947185A (zh) 2022-01-18

Similar Documents

Publication Publication Date Title
CN108229986B (zh) 信息点击预测中的特征构建方法、信息投放方法和装置
CN113157863A (zh) 问答数据处理方法、装置、计算机设备及存储介质
CN112259247B (zh) 对抗网络训练、医疗数据补充方法、装置、设备及介质
CN112883257A (zh) 行为序列数据处理方法、装置、电子设备及存储介质
CN116684330A (zh) 基于人工智能的流量预测方法、装置、设备及存储介质
CN113239176A (zh) 语义匹配模型训练方法、装置、设备及存储介质
CN113947185B (zh) 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
CN112766485B (zh) 命名实体模型的训练方法、装置、设备及介质
CN113610215B (zh) 任务处理网络生成、任务处理方法、装置及电子设备
CN112749557A (zh) 文本处理模型的构建方法和文本处理方法
CN115756821A (zh) 在线任务处理模型训练、任务处理方法及装置
CN113822291A (zh) 一种图像处理方法、装置、设备及存储介质
CN110780850B (zh) 需求用例辅助生成方法、装置、计算机设备及存储介质
CN114238798A (zh) 基于神经网络的搜索排序方法、系统、设备及存储介质
CN113627514A (zh) 知识图谱的数据处理方法、装置、电子设备和存储介质
CN114298961A (zh) 图像处理方法、装置、设备及存储介质
CN113792163B (zh) 多媒体推荐方法、装置、电子设备及存储介质
CN115455306B (zh) 推送模型训练、信息推送方法、装置和存储介质
CN114329174A (zh) 数据召回方法及装置
CN115409151A (zh) 图神经网络训练、任务处理方法、装置、电子设备及存储介质
CN116994018A (zh) 模型训练方法、分类预测方法以及装置
CN115952294A (zh) 金融舆情要素抽取方法及装置
KR20230062008A (ko) 트랜스포머 모델을 이용한 추론 방법 및 그 추론 방법을 수행하는 전자 장치
CN114118057A (zh) 句向量模型生成、数据召回方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant