CN113610215A - 任务处理网络生成、任务处理方法、装置、电子设备及存储介质 - Google Patents

任务处理网络生成、任务处理方法、装置、电子设备及存储介质 Download PDF

Info

Publication number
CN113610215A
CN113610215A CN202110778034.3A CN202110778034A CN113610215A CN 113610215 A CN113610215 A CN 113610215A CN 202110778034 A CN202110778034 A CN 202110778034A CN 113610215 A CN113610215 A CN 113610215A
Authority
CN
China
Prior art keywords
network
task
task processing
preset
information
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202110778034.3A
Other languages
English (en)
Other versions
CN113610215B (zh
Inventor
郭义
袁欢
谈建超
杨森
刘霁
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Beijing Dajia Internet Information Technology Co Ltd
Original Assignee
Beijing Dajia Internet Information Technology Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Beijing Dajia Internet Information Technology Co Ltd filed Critical Beijing Dajia Internet Information Technology Co Ltd
Priority to CN202110778034.3A priority Critical patent/CN113610215B/zh
Publication of CN113610215A publication Critical patent/CN113610215A/zh
Application granted granted Critical
Publication of CN113610215B publication Critical patent/CN113610215B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • General Health & Medical Sciences (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Artificial Intelligence (AREA)
  • Neurology (AREA)
  • Information Transfer Between Computers (AREA)
  • Data Exchanges In Wide-Area Networks (AREA)

Abstract

本公开关于一种任务处理网络生成、任务处理方法、装置、电子设备及存储介质，该方法包括获取目标任务对应的多媒体资源和任务标注结果；将包括掩码学习参数和预设衰减参的预设掩码信息插入预设深度学习网络，得到待训练网络，若预设衰减参数小于等于第一预设阈值，预设掩码信息为零，或与一的差值小于等于第二预设阈值；将多媒体资源输入待训练网络，得到第一预测任务结果；根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息，并训练待训练网络，得到初始任务处理网络；基于初始任务处理网络中的预设掩码信息，对初始任务处理网络进行剪枝处理，得到目标任务处理网络。利用本公开实施例可以平衡网络的资源消耗量与网络精度。

Description

任务处理网络生成、任务处理方法、装置、电子设备及存储 介质
技术领域
本公开涉及人工智能技术领域，尤其涉及一种任务处理网络生成、任务处理方法、装置、电子设备及存储介质。
背景技术
随着人工智能技术的迅猛发展，深度神经网络在计算机视觉、自然语言处理、广告推荐搜索等领域占据着越来越重要的地位。然而，其庞大的计算量与参数量耗费着大量的计算资源，限制了其在工业界的进一步推广与应用，故需要对深度学习网络进行剪枝，以进行网络的压缩。
相关技术中，由于一些任务处理网络的输入为图像等多媒体资源，在进行网络压缩时，大多需要先设定一个衡量任务处理网络中通道传输的多媒体特征信息的重要性标准，然后根据该重要性标准进行剪枝。即把重要性低的多媒体特征信息对应分支(通道)剪掉，保留重要性高的多媒体特征信息对应分支。例如结合group LASSO来优化神经网络，使其变得稀疏，该方法需要设定一个阈值，对于权重参数小于该阈值的分支予以剪枝，大于该阈值的分支予以保留。或者，结合损失函数的一阶导数或者高阶导数来衡量分支的重要性的；但上述相关技术中，用于衡量分支重要性的标准(阈值、一阶导数或者高阶导数)的选取需要很多调参经验，没法保证标准的数值大小可以准确代表了分支的重要程度，导致无法找到任务处理过程中对多媒体资源等数据处理带来的资源消耗量与任务处理精度的良好平衡点，即，在保持网络的任务处理精度的前提下，对多媒体资源等数据处理带来的资源消耗量往往依然很大，或者在降低对多媒体资源等数据处理带来的资源消耗以后，对任务处理精度造成了较大损失。
发明内容
本公开提供一种任务处理网络生成、任务处理方法、装置、电子设备及存储介质，以至少解决相关技术中无法平衡任务处理网络对多媒体资源等数据处理带来的资源消耗量与任务处理精度的问题。本公开的技术方案如下：
根据本公开实施例的第一方面，提供一种任务处理网络生成方法，包括：
获取目标任务对应的训练数据，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果；
将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络，所述预设掩码信息为基于掩码学习参数和预设衰减参数确定的，所述预设衰减参数在所述待训练网络训练过程中衰减至小于等于第一预设阈值，在所述预设衰减参数小于等于第一预设阈值的情况下，所述预设掩码信息为零，或所述预设掩码信息与一的差值小于等于第二预设阈值；
将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息；
基于所述第一损失信息训练所述待训练网络，得到初始任务处理网络；
基于所述初始任务处理网络中的预设掩码信息，对所述初始任务处理网络进行剪枝处理，得到目标任务处理网络。
可选的，所述基于所述第一损失信息训练所述待训练网络，得到初始任务处理网络包括：
在所述第一损失信息未满足预设条件的情况下，对所述预设衰减参数进行衰减处理，并基于所述第一损失信息更新所述预设深度学习网络的网络参数和所述掩码学习参数，得到更新后的待训练网络；
基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息的步骤；
在所述第一损失信息满足所述预设条件，且所述预设衰减参数衰减至小于等于第一预设阈值的情况下，将当前的待训练网络作为所述初始任务处理网络。
可选的，所述待剪枝通道包括所述预设深度学习网络中信息交互层之前的通道，所述信息交互层为具有多个不同信息输入通道的层，所述预设掩码信息包括多个掩码信息，所述将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络包括：
基于所述预设深度学习网络中通道对应的传输顺序遍历所述信息交互层之前的通道；
在遍历到任一通道的情况下，若当前遍历到的通道对应的输入信息的来源通道未插入掩码信息，在所述当前遍历到的通道插入所述多个掩码信息中的任一掩码信息；
若当前遍历到的通道对应的输入信息的来源通道已插入掩码信息，在所述当前遍历到的通道插入所述来源通道中插入的掩码信息；
将遍历结束后的预设深度学习网络，作为所述待训练网络。
可选的，所述根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息包括：
根据所述任务标注结果和所述第一预测任务结果确定任务结果损失信息；
基于所述掩码学习参数确定所述待训练网络的资源消耗量；
根据所述任务结果损失信息和所述资源消耗量确定第一损失信息。
可选的，所述基于所述掩码学习参数确定所述待训练网络的资源消耗量包括：
确定所述掩码学习参数中非零的参数数量；
根据所述参数数量确定所述资源消耗量。
可选的，所述基于所述初始任务处理网络中的预设掩码信息，对所述初始任务处理网络进行剪枝处理，得到目标任务处理网络包括：
去除所述初始任务处理网络中的预设掩码信息，得到待剪枝网络；
对所述待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到所述目标任务处理网络。
可选的，所述方法还包括：
将所述多媒体资源输入原始深度学习网络进行任务处理，得到第二预测任务结果；
根据所述第二预测任务结果和所述任务标注结果，确定第二损失信息；
基于所述第二损失信息训练所述原始深度学习网络，得到所述预设深度学习网络。
根据本公开实施例的第二方面，提供一种任务处理方法，包括：
将第一多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
根据本公开实施例的第三方面，提供一种任务处理方法，包括：
将第二多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
根据本公开实施例的第四方面，提供一种任务处理网络生成装置，包括：
训练数据获取模块，被配置为执行获取目标任务对应的训练数据，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果；
掩码信息插入模块，被配置为执行将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络，所述预设掩码信息为基于掩码学习参数和预设衰减参数确定的，所述预设衰减参数在所述待训练网络训练过程中衰减至小于等于第一预设阈值，在所述预设衰减参数小于等于第一预设阈值的情况下，所述预设掩码信息为零，或所述预设掩码信息与一的差值小于等于第二预设阈值；
第一任务处理模块，被配置为执行将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
第一损失信息确定模块，被配置为执行根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息；
第一网络训练模块，被配置为执行基于所述第一损失信息训练所述待训练网络，得到初始任务处理网络；
剪枝处理模块，被配置为执行基于所述初始任务处理网络中的预设掩码信息，对所述初始任务处理网络进行剪枝处理，得到目标任务处理网络。
可选的，所述第一网络训练模块包括：
网络更新单元，被配置为执行在所述第一损失信息未满足预设条件的情况下，对所述预设衰减参数进行衰减处理，并基于所述第一损失信息更新所述预设深度学习网络的网络参数和所述掩码学习参数，得到更新后的待训练网络；
迭代处理单元，被配置为执行基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息的步骤；
初始任务处理网络确定单元，被配置为执行在所述第一损失信息满足所述预设条件，且所述预设衰减参数衰减至小于等于第一预设阈值的情况下，将当前的待训练网络作为所述初始任务处理网络。
可选的，所述待剪枝通道包括所述预设深度学习网络中信息交互层之前的通道，所述信息交互层为具有多个不同信息输入通道的层，所述预设掩码信息包括多个掩码信息，所述掩码信息插入模块包括：
通道遍历单元，被配置为执行基于所述预设深度学习网络中通道对应的传输顺序遍历所述信息交互层之前的通道；
第一掩码信息插入单元，被配置为执行在遍历到任一通道的情况下，若当前遍历到的通道对应的输入信息的来源通道未插入掩码信息，在所述当前遍历到的通道插入所述多个掩码信息中的任一掩码信息；
第二掩码信息插入单元，被配置为执行若当前遍历到的通道对应的输入信息的来源通道已插入掩码信息，在所述当前遍历到的通道插入所述来源通道中插入的掩码信息；
待训练网络确定单元，被配置为执行将遍历结束后的预设深度学习网络，作为所述待训练网络。
可选的，所述第一损失信息确定模块包括：
任务结果损失信息确定单元，被配置为执行根据所述任务标注结果和所述第一预测任务结果确定任务结果损失信息；
资源消耗量确定单元，被配置为执行基于所述掩码学习参数确定所述待训练网络的资源消耗量；
第一损失信息确定单元，被配置为执行根据所述任务结果损失信息和所述资源消耗量确定第一损失信息。
可选的，所述资源消耗量确定单元包括：
非零参数数量确定单元，被配置为执行确定所述掩码学习参数中非零的参数数量；
资源消耗量确定单元，被配置为执行根据所述参数数量确定所述资源消耗量。
可选的，所述剪枝处理模块包括：
掩码信息去除单元，被配置为执行去除所述初始任务处理网络中的预设掩码信息，得到待剪枝网络；
剪枝处理单元，被配置为执行对所述待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到所述目标任务处理网络。
可选的，所述装置还包括：
第二任务处理模块，被配置为执行将所述多媒体资源输入原始深度学习网络进行任务处理，得到第二预测任务结果；
第二损失信息确定模块，被配置为执行根据所述第二预测任务结果和所述任务标注结果，确定第二损失信息；
第二网络训练模块，被配置为执行基于所述第二损失信息训练所述原始深度学习网络，得到所述预设深度学习网络。
根据本公开实施例的第五方面，提供一种任务处理装置，包括：
第三任务处理模块，被配置为执行将第一多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
根据本公开实施例的第六方面，提供一种任务处理装置，包括：
第四任务处理模块，被配置为执行将第二多媒体资源输入根据第一方面提供的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
第五任务处理模块，被配置为执行基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
根据本公开实施例的第七方面，提供一种电子设备，包括：处理器；用于存储所述处理器可执行指令的存储器；其中，所述处理器被配置为执行所述指令，以实现如上述第一方面、第二方面、第三方面中任一项所述的方法。
根据本公开实施例的第八方面，提供一种计算机可读存储介质，当所述存储介质中的指令由电子设备的处理器执行时，使得所述电子设备能够执行本公开实施例的第一方面、第二方面、第三方面中任一项所述的方法。
根据本公开实施例的第九方面，提供一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例的第一方面、第二方面、第三方面中任一项所述的方法。
本公开的实施例提供的技术方案至少带来以下有益效果：
通过在待训练网络中插入预设掩码信息，并在网络训练过程中，更新网络参数、掩码学习参数的同时，将预设掩码信息中的预设衰减参数衰减至小于等于第一预设阈值，可以在保证有效学习到插入掩码信息的通道所传输的特征信息在任务处理过程中重要程度的基础上，结合插入掩码信息等于零，或约等于一的特性，可以更好筛选出所传输的特征信息在任务处理过程中不重要的通道，进而可以保证剪枝后的目标任务处理网络可以有效平衡网络的任务处理精度和资源消耗量，在提升网络任务处理精度的基础上，大大降低了任务处理过程中对图像等多媒体资源处理的计算量和资源消耗量。
应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本公开。
附图说明
此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本公开的实施例，并与说明书一起用于解释本公开的原理，并不构成对本公开的不当限定。
图1是根据一示例性实施例示出的一种应用环境的示意图；
图2是根据一示例性实施例示出的一种任务处理网络生成方法的流程图；
图3是根据一示例性实施例示出的一种将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络的流程图；
图4是根据一示例性实施例提供的一种部分预设深度学习网络的示意图；
图5是根据一示例性实施例示出的一种根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息的流程图；
图6是根据一示例性实施例示出的一种基于第一损失信息训练待训练网络，得到初始任务处理网络的流程图；
图7是根据一示例性实施例示出的一种任务处理网络生成装置框图；
图8是根据一示例性实施例示出的一种用于任务处理网络生成或任务处理的电子设备的框图；
图9是根据一示例性实施例示出的一种用于任务处理网络生成或任务处理的电子设备的框图。
具体实施方式
为了使本领域普通人员更好地理解本公开的技术方案，下面将结合附图，对本公开实施例中的技术方案进行清楚、完整地描述。
需要说明的是，本公开的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本公开的实施例能够以除了在这里图示或描述的那些以外的顺序实施。以下示例性实施例中所描述的实施方式并不代表与本公开相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本公开的一些方面相一致的装置和方法的例子。
需要说明的是，本公开所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于展示的数据、分析的数据等)，均为经用户授权或者经过各方充分授权的信息和数据。
请参阅图1，图1是根据一示例性实施例示出的一种应用环境的示意图，如图1所示，该应用环境可以包括服务器100和终端200。
在一个可选的实施例中，服务器100可以为用于训练目标任务处理网络。具体的，服务器100可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是边缘计算节点，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content Delivery Network，内容分发网络)、以及大数据和人工智能平台等基础云计算服务的云服务器。
在一个可选的实施例中，终端200可以基于服务器100训练好的目标任务处理网络进行任务处理。具体的，终端200可以包括但不限于智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtualreality，VR)设备、智能可穿戴设备等类型的电子设备，也可以为运行于上述电子设备的软体，例如应用程序等。可选的，电子设备上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。
此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如目标任务处理网络的训练也可以在终端200上实现。
本说明书实施例中，上述服务器100以及终端200可以通过有线或无线通信方式进行直接或间接地连接，本公开在此不做限制。
图2是根据一示例性实施例示出的一种任务处理网络生成方法的流程图，如图2所示，该任务处理网络生成方法用于终端或服务器等电子设备中，包括以下步骤。
在步骤S201中，获取目标任务对应的训练数据。
本说明书实施例中，目标任务可以与基于训练数据训练得到的深度学习网络，所对应的用途相对应，具体的，可以结合实际应用场景的需求不同而不同。在一个具体的实施例中，以基于上述训练数据来训练分类网络为例，分类网络的用途可以为类别识别，相应的，目标任务可以为分类任务。在另一个具体的实施例中，以基于上述训练数据来训练信息召回网络为例，信息召回网络的用途可以为识别相应信息被推荐给相应用户的概率(即信息被召回的概率)；相应的，目标任务可以为信息被推荐的概率识别任务。
在一个具体的实施例中，上述训练数据可以包括多媒体资源和多媒体资源对应任务标注结果。本说明书实施例中，多媒体资源可以包括文本、图像等静态资源，也可以包括短视频等动态资源。在一个具体的实施例中，以训练分类网络为例，训练数据中的多媒体资源可以包括样本图像，训练数据中的多媒体资源对应任务标注结果可以包括样本图像中对象的类别标注信息(具体的类别可以结合场景需求不同而不同，例如可以为图像中的对象的类别，可选的，对象的类别可以包括猫、狗等)。在另一个具体的实施例中，以训练信息召回网络为例，训练数据中的多媒体资源可以包括正样本数据(用户属性信息和用户行为过的多媒体资源的资源信息)和负样本数据(用户属性信息和用户未行为过的多媒体资源的资源信息)；训练数据中的多媒体资源对应任务标注结果可以包括多媒体资源被推荐给用户的概率(可选的，正样本数据对应的概率可以为1，负样本数据对应的概率可以为0)。具体的，用户属性信息可以包括但不限于用户性别、年龄、学历、地域等表征用户个人属性的信息，用户行为过的多媒体资源的资源信息可以为用于描述多媒体资源的信息，以多媒体资源为视频为例，资源属性信息可以包括发布者信息、播放时长等文本属性信息，还可以包括封面、视频帧图像等图像属性信息。
在步骤S203中，将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络。
在一个具体的实施例中，上述预设掩码信息可以为基于掩码学习参数和预设衰减参数确定的。将预设掩码信息插入预设深度学习网络，可以在预设深度学习网络训练过程中，通过预设掩码信息来学习到相应通道传输的特征信息在任务处理过程中重要程度。相应的，上述预设掩码信息可以用于学习相应通道传输的特征信息在任务处理过程中重要程度。具体的，预设衰减参数可以在待训练网络训练过程中衰减至小于等于第一预设阈值(即衰减至一个较小的数值)，具体的，第一预设阈值可以结合实际需求预先设置，例如0.001、0.0001等。在上述预设衰减参数小于等于第一预设阈值的情况下，即预设衰减参数较小的情况下，上述预设掩码信息为零，或预设掩码信息与一的差值小于等于第二预设阈值(即约等于1)，具体的，一般深度学习网络中待剪支通道往往包括多个，相应的，预设掩码信息可以为多个掩码信息，第二预设阈值可以为网络训练好后的多个掩码信息各自与1之间差值中的最大值。
在一个具体的实施例中，假设预设深度学习网络某一层有N个神经元(即N个通道)，x为掩码学习参数，x初始化是一个包含N个元素的向量，且每个元素的初始化数值为1(可选的，每个元素的初始化数值也可以为其他数值，可以结合实际应用需求预先设置)，∈为预设衰减参数，且∈的初始化数值为0.1(可选的，∈初始化数值也可以为其他数值，可以结合实际应用需求预先设置)，相应的，基于掩码学习参数和预设衰减参数确定的预设掩码信息可以为：
Figure BDA0003156536400000091
其中，g∈(x)为预设掩码信息(g∈(x)在x和∈对应具体数值的情况下，也对应具体的数值)，x可以在网络训练过程中学习调整；∈为预设衰减参数，在网络训练过程中不断衰减至小于等于第一预设阈值。在一个具体的实施例中，结合下述公式：
Figure BDA0003156536400000101
可知，当∈足够小的时候，若掩码学习参数为0，预设掩码信息等于0；若掩码学习参数为任一非0数值，预设掩码信息约等于1(即与一的差值小于等于第二预设阈值)。
在一个可选的实施例中，为了更精准的衡量网络中不同通道传输信息的重要性，可以在充分提取信息的特征后，将信息传输到在信息交互层之前，插入掩码信息，相应的，上述待剪枝通道可以包括预设深度学习网络中信息交互层之前的通道，具体的，预设掩码信息可以包括多个掩码信息，可选的，如图3所示，上述将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络可以包括以下步骤：
在步骤S2031中，基于预设深度学习网络中通道对应的传输顺序遍历信息交互层之前的通道；
在步骤S2033中，在遍历到任一通道的情况下，若当前遍历到的通道对应的输入信息的来源通道未插入掩码信息，在当前遍历到的通道插入多个掩码信息中的任一掩码信息；
在步骤S2035中，若当前遍历到的通道对应的输入信息的来源通道已插入掩码信息，在当前遍历到的通道插入来源通道中插入的掩码信息；
在步骤S2037中，将遍历结束后的预设深度学习网络，作为待训练网络。
本说明书实施例中，信息交互层可以为有多个不同信息输入通道的层，即该信息交互层具有多个输入信息。在一个可选的实施例中，深度学习网络中的信息交互层可以包括但不限于有多个输入信息的卷积层、全连接层等可以对多个输入信息进行处理的层；反之，以归一化层为例，由于归一化层进行的归一化处理往往是针对某一数据的，故归一化层前往往是单个输入通道，相应的，归一化层为非信息交互层。
在一个具体的实施例中，深度学习网络中传输的信息的大小(例如向量的维度)需要与相应层的对输入信息的大小要求一致，相应的，为了保证某些通道被剪枝后，前后传输的信息依然满足深度学习网络中前后层对信息输入大小的要求，某一层输出通道被剪枝，相应的下一层对应输入的通道也应该被剪掉；相应的，在进行掩码信息插入的时候，若当前遍历到的通道对应的输入信息的来源通道未插入掩码信息，该当前遍历到的通道可以插入多个掩码信息中的任一掩码信息；若当前遍历到的通道对应的输入信息的来源通道已插入掩码信息，在当前遍历到的通道插入该来源通道中插入的掩码信息。
在一个具体的实施例中，如图4所示，图4是根据一示例性实施例提供的一种部分预设深度学习网络的示意图。具体的，图4中两个卷积层和全连接层属于信息交互层，相应的，在遍历到第一个卷积层前的通道的情况下，可以在第一个卷积层前的通道上插入掩码信息：g1；可选的，在遍历到第二个卷积层前的通道的情况下，可以在第二个卷积层前的通道上插入掩码信息：g2；可选的，在遍历到全连接层前的通道的情况下，由于全连接层前的通道对应的输入信息的来源通道已插入掩码信息：g1，该全连接层前的通道上插入的预设掩码信息也为g1。
上述实施例中，以信息交互层之前的通道为待剪支通道，进行掩码信息的插入，且通过某一层输出通道插入的掩码信息与下一层对应输入的通道插入相同的掩码信息，可以有效保证后续剪枝后，网络中传输的信息的大小满足网络中各层对输入信息的要求，同时也大大提升衡量网络中不同通道传输信息的重要性的精准度。
在一个可选的实施例中，上述预设深度学习网络可以为预先基于上述训练数据训练得到的深度学习网络，相应的，上述方法还可以包括：预先训练预设深度学习网络的步骤，具体的，可以包括：
将多媒体资源输入原始深度学习网络进行任务处理，得到第二预测任务结果；
根据第二预测任务结果和任务标注结果，确定第二损失信息；
基于第二损失信息训练原始深度学习网络，得到预设深度学习网络。
在一个具体的实施例中，原始深度学习网络可以包括但不限于卷积神经网络、循环神经网络等深度学习网络。
在一个具体的实施例中，以基于上述训练数据来训练分类网络为例，第二预设任务结果可以为预测的样本图像中对象的类别信息；以基于上述训练数据来训练信息召回网络为例，第二预设任务结果可以为预测的多媒体资源被推荐给用户的概率。
在一个具体的实施例中，根据第二预测任务结果和任务标注结果，确定第二损失信息可以包括基于预设损失函数计算第二预测任务结果和任务标注结果间的第二损失信息。进一步的，若第二损失信息未满足预设条件，可以基于第二损失信息调整原始深度学习网络的网络参数，并基于调整后的原始深度学习网络重复将多媒体资源输入原始深度学习网络进行任务处理，得到第二预测任务结果和根据第二预测任务结果和任务标注结果，确定第二损失信息的步骤，至上述第二损失信息满足预设条件。
在一个具体的实施例中，预设损失函数可以包括但不限于均方损失函数、平均绝对损失函数、交叉熵损失函数、逻辑损失函数、指数损失函数等。第二损失信息满足预设条件可以为第二损失信息小于等于指定阈值，或前后两次训练过程中对应的第二损失信息间的差值小于一定阈值。本说明书实施例中，指定阈值和一定阈值可以为结合实际训练需求进行设置。
上述实施例中，在对深度学习网络进行剪枝训练之前，预先结合训练数据对原始深度学习网络进行训练，可以更好的提升后续训练好的网络的任务处理精度。
在步骤S205中，将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果。
在一个具体的实施例中，在将多媒体资源输入插入预设掩码信息后的待训练网络中，进行任务处理，可以在任务处理过程中，结合预设掩码信息屏蔽掉部分多媒体资源的特征信息，进而便于学习到不同通道传输的特征信息在任务处理过程中重要程度。
在一个具体的实施例中，以基于上述训练数据来训练分类网络为例，第一预设任务结果可以为预测的样本图像中对象的类别信息；以基于上述训练数据来训练信息召回网络为例，第一预设任务结果可以为预测的多媒体资源被推荐给用户的概率。
在步骤S207中，根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息；
在一个可选的实施例中，如图5所示，上述根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息可以包括以下步骤：
在步骤S2071中，根据任务标注结果和第一预测任务结果确定任务结果损失信息；
在步骤S2073中，基于掩码学习参数确定待训练网络的资源消耗量；
在步骤S2075中，根据任务结果损失信息和资源消耗量确定第一损失信息；
在一个具体的实施例中，任务结果损失信息可以表征任务标注结果和第一预测任务结果间的差异，任务结果损失信息的数值大小与网络的任务处理精度成反比，即任务结果损失信息的数值越小，网络的任务处理精度越高。
上述根据任务标注结果和第一预测任务结果确定任务结果损失信息的具体步骤细化可以参见上述根据第二预测任务结果和任务标注结果，确定第二损失信息的具体步骤细化，在此不再赘述。
在一个可选的实施例中，上述基于掩码学习参数确定待训练网络的资源消耗量包括：
确定掩码学习参数中非零的参数数量；
根据参数数量确定资源消耗量。
在一个具体的实施例中，在训练过程中，掩码学习参数会不断的变化，相应的，若掩码学习参数变成0了，相应的通道的信息就没有了，即相应通道不会引起资源消耗，相应的，掩码学习参数中非0参数数量可以表征会引起资源消耗的通道数。
在一个具体的实施例中，可以结合下述公式来确定待训练网络的资源消耗量：
Figure BDA0003156536400000131
在一个具体的实施例中，
Figure BDA0003156536400000132
可以为待训练网络的资源消耗量，alk、bl为预设系数，可以结合网络的结构确定，是常数；|| ||0为求一个向量的L0范数(即求一个向量中非0元素的个数)；||xl||0表示待训练网络第l层前的通道所插入预设掩码信息的掩码学习参数中非零的参数数量(即引起资源消耗的通道数)；||xk||0表示待训练网络第k层前的通道所插入预设掩码信息的掩码学习参数中非零的参数数量(即引起资源消耗的通道数)。
在一个具体的实施例中，可以将任务结果损失信息和资源消耗量相加得到第一损失信息。可选的，为了更好平衡网络的精度与资源消耗量，可以设置相应的权重系数，具体的，该权重系数可以结合实际应用中对对网络的精度与资源消耗量的需求进行设置。
上述实施例中，在网络训练过程的损失信息中，融合了任务结果损失信息和资源消耗量，可以在更好的在保证网络的任务处理精度的基础上，降低网络的资源消耗量；且结合掩码学习参数中非零的参数数量来确定资源消耗量，可以有效提升确定的资源消耗量的准确性。
在步骤S209中，基于第一损失信息训练待训练网络，得到初始任务处理网络；
在一个可选的实施例中，如图6所示，上述基于第一损失信息训练待训练网络，得到初始任务处理网络可以包括以下步骤：
在步骤S2091中，在第一损失信息未满足预设条件的情况下，对预设衰减参数进行衰减处理，并基于第一损失信息更新预设深度学习网络的网络参数和掩码学习参数，得到更新后的待训练网络；
在步骤S2093中，基于更新后的待训练网络重复将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果至根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息的步骤；
在步骤S2095中，在第一损失信息满足预设条件，且预设衰减参数衰减至小于等于第一预设阈值的情况下，将当前的待训练网络作为初始任务处理网络。
在一个具体的实施例中，在开始训练的时候，可以初始化掩码学习参数和预设衰减参数的值，例如掩码学习参数初始化为1.0，预设衰减参数初始化为0.1。在一个具体的实施例中，在训练过程中，预设衰减参数可以在每次更新学习网络参数、掩码学习参数的过程中均更新(衰减)，也可以更新网络参数、掩码学习参数一定次数后，再更新预设衰减参数，例如，每更新网络参数、掩码学习参数1000次，更新一次预设衰减参数。在一个具体的实施例中，预设衰减参数更新过程中可以乘以大于0小于1的数值，例如0.98，以达到衰减的效果。
在一个具体的实施例中，第一损失信息中的任务结果损失信息和资源消耗量可以采用不同的算法来优化，可选的，可以基于梯度下降法在训练过程中调整网络参数，以实现对第一损失信息中的任务结果损失信息的优化；可以基于近端梯度算法在训练过程中调整掩码学习参数，以实现对第一损失信息中的资源消耗的优化。
在一个具体的实施例中，第一损失信息满足预设条件的具体细化可以参见上述第二损失信息满足预设条件的具体细化，在此不再赘述。
上述实施例中，在更新网络参数、掩码学习参数的同时，更新预设衰减参数，可以保证在网络训练过程中，有效学习到插入掩码信息的通道所传输的特征信息在任务处理过程中重要程度，且可以更好的区分能够反映道通道所传输的特征信息在任务处理过程中重要程度的掩码信息的数值大小，进而更好平衡网络的任务处理精度和资源消耗量。
在步骤S211中，基于初始任务处理网络中的预设掩码信息，对初始任务处理网络进行剪枝处理，得到目标任务处理网络。
在一个可选的实施例中，上述基于初始任务处理网络中的预设掩码信息，对初始任务处理网络进行剪枝处理，得到目标任务处理网络可以包括：
去除初始任务处理网络中的预设掩码信息，得到待剪枝网络；
对待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到目标任务处理网络。
在一个具体的实施例中，任一为零的掩码学习参数对应的预设掩码信息等于零，当可以反映相应通道传输的特征信息在任务处理过程中重要程度的预设掩码信息等于零的情况下，可以精准的确定相应通道传输的特征信息在任务处理过程中不重要。
上述实施例中，由于预设衰减参数在网络训练过程中会衰减至一个较小的数值，相应的，网络训练好后，任一非零的掩码学习参数对应的预设掩码信息均约等于一，而任一为零的掩码学习参数对应的预设掩码信息等于零，可以在精准剪去对任务处理不重要的通道的基础上，有效保证剪枝后的目标任务处理网络的任务处理精度。
由以上本说明书实施例提供的技术方案可见，本说明书通过在待训练网络中插入预设掩码信息，并在网络训练过程中，更新网络参数、掩码学习参数的同时，将预设掩码信息中的预设衰减参数衰减至小于等于第一预设阈值，可以在保证有效学习到插入掩码信息的通道所传输的特征信息在任务处理过程中重要程度的基础上，结合插入掩码信息等于零，或约等于一的特性，可以更好筛选出所传输的特征信息在任务处理过程中不重要的通道，进而可以保证剪枝后的目标任务处理网络可以有效平衡网络的任务处理精度和资源消耗量，在提升网络任务处理精度的基础上，大大降低了任务处理过程中对图像等多媒体资源处理的计算量和资源消耗量。
基于上述的任务处理网络生成方法得到的目标任务处理网络，本公开还提供一种任务处理方法，该任务处理方法可以用于终端、服务器等电子设备中，可以包括以下步骤：
将第一多媒体资源输入目标任务处理网络进行任务处理，得到第一多媒体资源对应的第一目标任务结果。
在一个具体的实施例中，上述的目标任务处理网络可以包括但不限于分类网络、目标检测网络、场景分割网络等，相应的，第一多媒体资源可以为需要分类、需要进行检测目标、或需要分割场景的图像。相应的，第一目标任务结果可以为类别信息，检测到的面部的位置信息，分割出的场景信息等。
上述实施例中，结合目标任务处理网络进行任务处理，在保证任务处理精度的基础上，大大降低任务处理过程中对图像等多媒体资源处理的计算量和资源消耗量。
基于上述的任务处理网络生成方法得到的目标任务处理网络，本公开还提供一种任务处理方法，该任务处理方法可以用于终端或服务器中，可以包括以下步骤：
将第二多媒体资源输入目标任务处理网络进行任务处理，得到第二多媒体资源对应的第二目标任务结果；
基于第二目标任务结果对第二多媒体资源执行目标关联任务，目标关联任务为目标任务处理网络对应任务的关联任务。
在一个具体的实施例中，目标任务处理网络可以包括召回网络；以召回网络为例，第二多媒体资源可以为需要推荐多媒体资源的用户的属性信息和待推荐多媒体资源的资源信息；相应的，第二目标任务结果可以为任一待推荐多媒体资源被推荐给用户的概率。相应的，目标关联任务是基于待推荐多媒体资源被推荐给用户的概率从待推荐多媒体资源中筛选出，推荐给用户的多媒体资源，并推送给用户对应的终端。
上述实施例中，结合目标任务处理网络进行任务处理，在保证任务处理精度的基础上，大大降低任务处理过程中对图像等多媒体资源处理的计算量和资源消耗量。
图7是根据一示例性实施例示出的一种任务处理网络生成装置框图。参照图7，该装置包括：
训练数据获取模块710，被配置为执行获取目标任务对应的训练数据，训练数据包括多媒体资源和多媒体资源对应任务标注结果；
掩码信息插入模块720，被配置为执行将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络，预设掩码信息为基于掩码学习参数和预设衰减参数确定的，预设衰减参数在待训练网络训练过程中衰减至小于等于第一预设阈值，在预设衰减参数小于等于第一预设阈值的情况下，预设掩码信息为零，或预设掩码信息与一的差值小于等于第二预设阈值；
第一任务处理模块730，被配置为执行将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果；
第一损失信息确定模块740，被配置为执行根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息；
第一网络训练模块750，被配置为执行基于第一损失信息训练待训练网络，得到初始任务处理网络；
剪枝处理模块760，被配置为执行基于初始任务处理网络中的预设掩码信息，对初始任务处理网络进行剪枝处理，得到目标任务处理网络。
可选的，第一网络训练模块750包括：
网络更新单元，被配置为执行在第一损失信息未满足预设条件的情况下，对预设衰减参数进行衰减处理，并基于第一损失信息更新预设深度学习网络的网络参数和掩码学习参数，得到更新后的待训练网络；
迭代处理单元，被配置为执行基于更新后的待训练网络重复将多媒体资源输入待训练网络进行任务处理，得到第一预测任务结果至根据任务标注结果、第一预测任务结果和掩码学习参数，确定第一损失信息的步骤；
初始任务处理网络确定单元，被配置为执行在第一损失信息满足预设条件，且预设衰减参数衰减至小于等于第一预设阈值的情况下，将当前的待训练网络作为初始任务处理网络。
可选的，待剪枝通道包括预设深度学习网络中信息交互层之前的通道，信息交互层为具有多个不同信息输入通道的层，预设掩码信息包括多个掩码信息，掩码信息插入模块720包括：
通道遍历单元，被配置为执行基于预设深度学习网络中通道对应的传输顺序遍历信息交互层之前的通道；
第一掩码信息插入单元，被配置为执行在遍历到任一通道的情况下，若当前遍历到的通道对应的输入信息的来源通道未插入掩码信息，在当前遍历到的通道插入多个掩码信息中的任一掩码信息；
第二掩码信息插入单元，被配置为执行若当前遍历到的通道对应的输入信息的来源通道已插入掩码信息，在当前遍历到的通道插入来源通道中插入的掩码信息；
待训练网络确定单元，被配置为执行将遍历结束后的预设深度学习网络，作为待训练网络。
可选的，第一损失信息确定模块740包括：
任务结果损失信息确定单元，被配置为执行根据任务标注结果和第一预测任务结果确定任务结果损失信息；
资源消耗量确定单元，被配置为执行基于掩码学习参数确定待训练网络的资源消耗量；
第一损失信息确定单元，被配置为执行根据任务结果损失信息和资源消耗量确定第一损失信息。
可选的，资源消耗量确定单元包括：
非零参数数量确定单元，被配置为执行确定掩码学习参数中非零的参数数量；
资源消耗量确定单元，被配置为执行根据参数数量确定资源消耗量。
可选的，剪枝处理模块760包括：
掩码信息去除单元，被配置为执行去除初始任务处理网络中的预设掩码信息，得到待剪枝网络；
剪枝处理单元，被配置为执行对待剪枝网络中预设掩码信息为零的待剪枝通道进行剪枝处理，得到目标任务处理网络。
可选的，上述装置还包括：
第二任务处理模块，被配置为执行将多媒体资源输入原始深度学习网络进行任务处理，得到第二预测任务结果；
第二损失信息确定模块，被配置为执行根据第二预测任务结果和任务标注结果，确定第二损失信息；
第二网络训练模块，被配置为执行基于第二损失信息训练原始深度学习网络，得到预设深度学习网络。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种任务处理装置，包括：
第三任务处理模块，被配置为执行将第一多媒体资源输入目标任务处理网络进行任务处理，得到第一多媒体资源对应的第一目标任务结果。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
本公开实施例还提供一种任务处理装置，包括：
第四任务处理模块，被配置为执行将第二多媒体资源输入目标任务处理网络进行任务处理，得到第二多媒体资源对应的第二目标任务结果；
第五任务处理模块，被配置为执行基于第二目标任务结果对第二多媒体资源执行目标关联任务，目标关联任务为目标任务处理网络对应任务的关联任务。
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。
图8是根据一示例性实施例示出的一种用于任务处理网络生成或任务处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图8所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务处理网络生成或任务处理方法。
图9是根据一示例性实施例示出的一种用于任务处理网络生成或任务处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图9所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种任务处理网络生成或任务处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
本领域技术人员可以理解，图8或图9中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本公开实施例中的任务处理网络生成或任务处理方法。
在示例性实施例中，还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的任务处理网络生成或任务处理方法。
在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本公开实施例中的任务处理网络生成或任务处理方法。
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本公开的其它实施方案。本申请旨在涵盖本公开的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本公开的一般性原理并包括本公开未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本公开的真正范围和精神由下面的权利要求指出。
应当理解的是，本公开并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本公开的范围仅由所附的权利要求来限制。

Claims (10)

1.一种任务处理网络生成方法，其特征在于，包括：
获取目标任务对应的训练数据，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果；
将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络，所述预设掩码信息为基于掩码学习参数和预设衰减参数确定的，所述预设衰减参数在所述待训练网络训练过程中衰减至小于等于第一预设阈值，在所述预设衰减参数小于等于第一预设阈值的情况下，所述预设掩码信息为零，或所述预设掩码信息与一的差值小于等于第二预设阈值；
将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息；
基于所述第一损失信息训练所述待训练网络，得到初始任务处理网络；
基于所述初始任务处理网络中的预设掩码信息，对所述初始任务处理网络进行剪枝处理，得到目标任务处理网络。
2.根据权利要求1所述的任务处理网络生成方法，其特征在于，所述基于所述第一损失信息训练所述待训练网络，得到初始任务处理网络包括：
在所述第一损失信息未满足预设条件的情况下，对所述预设衰减参数进行衰减处理，并基于所述第一损失信息更新所述预设深度学习网络的网络参数和所述掩码学习参数，得到更新后的待训练网络；
基于所述更新后的待训练网络重复所述将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果至所述根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息的步骤；
在所述第一损失信息满足所述预设条件，且所述预设衰减参数衰减至小于等于所述第一预设阈值的情况下，将当前的待训练网络作为所述初始任务处理网络。
3.一种任务处理方法，其特征在于，包括：
将第一多媒体资源输入根据权利要求1至2任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
4.一种任务处理方法，其特征在于，包括：
将第二多媒体资源输入根据权利要求1至2任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
5.一种任务处理网络生成装置，其特征在于，包括：
训练数据获取模块，被配置为执行获取目标任务对应的训练数据，所述训练数据包括多媒体资源和所述多媒体资源对应任务标注结果；
掩码信息插入模块，被配置为执行将预设掩码信息插入预设深度学习网络的待剪枝通道，得到待训练网络，所述预设掩码信息为基于掩码学习参数和预设衰减参数确定的，所述预设衰减参数在所述待训练网络训练过程中衰减至小于等于第一预设阈值，在所述预设衰减参数小于等于第一预设阈值的情况下，所述预设掩码信息为零，或所述预设掩码信息与一的差值小于等于第二预设阈值；
第一任务处理模块，被配置为执行将所述多媒体资源输入所述待训练网络进行任务处理，得到第一预测任务结果；
第一损失信息确定模块，被配置为执行根据所述任务标注结果、所述第一预测任务结果和所述掩码学习参数，确定第一损失信息；
第一网络训练模块，被配置为执行基于所述第一损失信息训练所述待训练网络，得到初始任务处理网络；
剪枝处理模块，被配置为执行基于所述初始任务处理网络中的预设掩码信息，对所述初始任务处理网络进行剪枝处理，得到目标任务处理网络。
6.一种任务处理装置，其特征在于，包括：
第三任务处理模块，被配置为执行将第一多媒体资源输入根据权利要求1至2任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第一多媒体资源对应的第一目标任务结果。
7.一种任务处理装置，其特征在于，包括：
第四任务处理模块，被配置为执行将第二多媒体资源输入根据权利要求1至2任一所述的任务处理网络生成方法得到的目标任务处理网络进行任务处理，得到所述第二多媒体资源对应的第二目标任务结果；
第五任务处理模块，被配置为执行基于所述第二目标任务结果对所述第二多媒体资源执行目标关联任务，所述目标关联任务为所述目标任务处理网络对应任务的关联任务。
8.一种电子设备，其特征在于，包括：
处理器；
用于存储所述处理器可执行指令的存储器；
其中，所述处理器被配置为执行所述指令，以实现如权利要求1至2中任一项所述的任务处理网络生成方法，或如权利要求3或4中任一项所述的任务处理方法。
9.一种计算机可读存储介质，其特征在于，当所述存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行如权利要求1至2中任一项所述的任务处理网络生成方法，或如权利要求3或4中任一项所述的任务处理方法。
10.一种计算机程序产品，包括计算机指令，其特征在于，所述计算机指令被处理器执行时实现权利要求1至2中任一项所述的任务处理网络生成方法，或如权利要求3或4中任一项所述的任务处理方法。
CN202110778034.3A 2021-07-09 2021-07-09 任务处理网络生成、任务处理方法、装置及电子设备 Active CN113610215B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110778034.3A CN113610215B (zh) 2021-07-09 2021-07-09 任务处理网络生成、任务处理方法、装置及电子设备

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110778034.3A CN113610215B (zh) 2021-07-09 2021-07-09 任务处理网络生成、任务处理方法、装置及电子设备

Publications (2)

Publication Number Publication Date
CN113610215A true CN113610215A (zh) 2021-11-05
CN113610215B CN113610215B (zh) 2022-09-09

Family

ID=78304301

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110778034.3A Active CN113610215B (zh) 2021-07-09 2021-07-09 任务处理网络生成、任务处理方法、装置及电子设备

Country Status (1)

Country Link
CN (1) CN113610215B (zh)

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185209A1 (zh) * 2022-03-31 2023-10-05 支付宝(杭州)信息技术有限公司 模型剪枝

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190340A1 (en) * 2018-03-28 2019-10-03 Intel Corporation Channel pruning of a convolutional network based on gradient descent optimization
CN110969240A (zh) * 2019-11-14 2020-04-07 北京达佳互联信息技术有限公司 一种深度卷积神经网络的剪枝方法、装置、设备及介质
CN111667068A (zh) * 2020-06-02 2020-09-15 清华大学 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN111931914A (zh) * 2020-08-10 2020-11-13 北京计算机技术及应用研究所 一种基于模型微调的卷积神经网络通道剪枝方法
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
US11030528B1 (en) * 2020-01-20 2021-06-08 Zhejiang University Convolutional neural network pruning method based on feature map sparsification

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019190340A1 (en) * 2018-03-28 2019-10-03 Intel Corporation Channel pruning of a convolutional network based on gradient descent optimization
WO2021057810A1 (zh) * 2019-09-29 2021-04-01 深圳数字生命研究院 数据处理、训练、识别方法、装置和存储介质
CN110969240A (zh) * 2019-11-14 2020-04-07 北京达佳互联信息技术有限公司 一种深度卷积神经网络的剪枝方法、装置、设备及介质
US11030528B1 (en) * 2020-01-20 2021-06-08 Zhejiang University Convolutional neural network pruning method based on feature map sparsification
CN111667068A (zh) * 2020-06-02 2020-09-15 清华大学 一种基于掩码的深度图卷积神经网络模型剪枝方法与系统
CN111931914A (zh) * 2020-08-10 2020-11-13 北京计算机技术及应用研究所 一种基于模型微调的卷积神经网络通道剪枝方法
CN112396179A (zh) * 2020-11-20 2021-02-23 浙江工业大学 一种基于通道梯度剪枝的柔性深度学习网络模型压缩方法

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
SURAJ SRINIVAS等: "Training Sparse Neural Networks", 《2017 IEEE CONFERENCE ON COMPUTER VISION AND PATTERN RECOGNITION WORKSHOPS》, 24 August 2017 (2017-08-24), pages 455 - 462 *
张辉等: "基于影响度剪枝的极端学习机分类算法研究", 《计算机工程与科学》, no. 04, 15 April 2016 (2016-04-15), pages 699 - 705 *

Cited By (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2023185209A1 (zh) * 2022-03-31 2023-10-05 支付宝(杭州)信息技术有限公司 模型剪枝

Also Published As

Publication number Publication date
CN113610215B (zh) 2022-09-09

Similar Documents

Publication Publication Date Title
CN112330685B (zh) 图像分割模型训练、图像分割方法、装置及电子设备
WO2022148038A1 (zh) 信息推荐方法及装置
WO2022105129A1 (zh) 内容数据推荐方法、装置、计算机设备及存储介质
CN113204660B (zh) 多媒体数据处理方法、标签识别方法、装置及电子设备
CN112883257A (zh) 行为序列数据处理方法、装置、电子设备及存储介质
CN113641835B (zh) 多媒体资源推荐方法、装置、电子设备及介质
CN113610215B (zh) 任务处理网络生成、任务处理方法、装置及电子设备
CN113704511B (zh) 多媒体资源的推荐方法、装置、电子设备及存储介质
CN111177500A (zh) 数据对象分类方法、装置、计算机设备和存储介质
CN113343024A (zh) 对象推荐方法、装置、电子设备及存储介质
CN113918738A (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
CN113947185B (zh) 任务处理网络生成、任务处理方法、装置、电子设备及存储介质
CN111651666A (zh) 用户主题推荐方法、装置、计算机设备及存储介质
CN114491093B (zh) 多媒体资源推荐、对象表征网络的生成方法及装置
CN115186173A (zh) 多媒体资源推送、智能体网络生成方法及装置
CN113868516A (zh) 对象推荐方法、装置、电子设备及存储介质
CN112883256B (zh) 多任务处理方法、装置、电子设备及存储介质
CN115756821A (zh) 在线任务处理模型训练、任务处理方法及装置
CN115222112A (zh) 一种行为预测方法、行为预测模型的生成方法及电子设备
CN113806568A (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
CN113792163B (zh) 多媒体推荐方法、装置、电子设备及存储介质
CN114048392B (zh) 多媒体资源推送方法、装置、电子设备及存储介质
CN115455306B (zh) 推送模型训练、信息推送方法、装置和存储介质
CN115409151A (zh) 图神经网络训练、任务处理方法、装置、电子设备及存储介质
CN117688233A (zh) 资源推荐方法、装置、电子设备及存储介质

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant