CN114626524A - 目标业务网络确定方法、业务处理方法及装置 - Google Patents

Abstract

本申请公开一种目标业务网络确定方法、业务处理方法及装置，涉及人工智能技术，包括：获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集；基于预设剪枝比例对对比网络进行剪枝处理，得到目标网络；基于训练业务数据集对对比网络和目标网络分别进行训练，得到对比网络对应的第一损失信息和目标网络对应的第二损失信息；基于第一损失信息和第二损失信息，对对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复剪枝迭代步骤，直至达到第一预设收敛条件；根据达到第一预设收敛条件时得到的对比网络或目标网络，确定待训练业务网络的目标业务网络。根据本申请的技术方案，可实现神经网络训练效率和精度之间的平衡。

Description

目标业务网络确定方法、业务处理方法及装置

技术领域

本申请涉及人工智能技术领域，尤其涉及一种目标业务网络确定方法、业务处理方法及装置。

背景技术

神经网络剪枝算法通常分为非结构性剪枝和结构性剪枝。其中，结构性剪枝是通过移除神经网络中的整个神经元来减少神经网络参数，从而达到减少计算量或存储的目的。常见的结构性剪枝算法通过一些评价准则来判断神经元的重要性，并根据神经元的重要性来剪除原网络中不重要的神经元，剪除神经元后的网络需要通过重新训练来使得网络达到原网络的精度。但这样的方法不容易控制剪枝的比例。例如，如果设置较大的剪枝比例，则得到的剪枝后的网络很难重新训练达到原有网络的性能；如果设置较小的剪枝比例，重复多次迭代，则需要训练较多次数才能获得满意的剪枝后网络。即，现有的剪枝方法在通过减少神经元减少计算量以提高单次训练速度时，无法实现神经网络训练效率和精度之间的平衡。

发明内容

有鉴于上述存在的技术问题，本申请提出了一种目标业务网络确定方法、业务处理方法及装置。

根据本申请的一方面，提供了一种目标业务网络确定方法，所述方法包括：

获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集，所述训练业务数据集包括样本多媒体资源和所述样本多媒体资源对应业务标注处理结果；

基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络；

基于所述训练业务数据集对所述对比网络和所述目标网络分别进行训练，得到所述对比网络对应的第一损失信息和所述目标网络对应的第二损失信息；

基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复所述基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络至所述基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新的剪枝迭代步骤，直至达到第一预设收敛条件；所述当前的预设剪枝比例为基于每次剪枝迭代步骤对应的单位增量比例对所述预设剪枝比例进行更新得到的；

根据达到所述第一预设收敛条件时得到的对比网络或目标网络，确定所述待训练业务网络的目标业务网络。

根据本申请的另一方面，提供了一种业务处理方法，包括：

获取目标业务对应的待处理多媒体资源；

将所述待处理多媒体资源输入根据上述的目标业务网络确定方法得到的目标业务网络进行业务处理，得到所述待处理多媒体资源对应的业务处理结果。

根据本申请的另一方面，提供了一种目标业务网络确定装置，包括：

获取模块，用于获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集，所述训练业务数据集包括样本多媒体资源和所述样本多媒体资源对应业务标注处理结果；

目标网络获取模块，用于基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络；

损失信息获取模块，用于基于所述训练业务数据集对所述对比网络和所述目标网络分别进行训练，得到所述对比网络对应的第一损失信息和所述目标网络对应的第二损失信息；

执行模块，用于基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复所述基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络至所述基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新的剪枝迭代步骤，直至达到第一预设收敛条件；所述当前的预设剪枝比例为基于每次剪枝迭代步骤对应的单位增量比例对所述预设剪枝比例进行更新得到的；

目标业务网络确定模块，用于根据达到所述第一预设收敛条件时得到的对比网络或目标网络，确定所述待训练业务网络的目标业务网络。

根据本申请的另一方面，提供了一种业务处理装置，包括：

多媒体资源获取模块，用于获取目标业务对应的待处理多媒体资源；

业务处理模块，用于将待处理多媒体资源输入根据上述的目标业务网络确定方法得到的目标业务网络进行业务处理，得到所述待处理多媒体资源对应的业务处理结果。

根据本申请的另一方面，提供了一种电子设备，包括：处理器；用于存储处理器可执行指令的存储器；其中，所述处理器被配置为执行上述目标业务网络确定方法或执行上述业务处理方法。

根据本申请的另一方面，提供了一种非易失性计算机可读存储介质，其上存储有计算机程序指令，其中，所述计算机程序指令被处理器执行时实现上述目标业务网络确定方法或实现上述业务处理方法。

根据本申请的另一方面，提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行上述目标业务网络确定方法或执行上述业务处理方法。

本公开的实施例提供的技术方案至少带来以下有益效果：

通过使用剪枝比例不同的对比网络和目标网络分别进行训练，在训练过程中根据第一损失信息和第二损失信息对对比网络进行更新迭代，并根据达到第一预设收敛条件时得到的对比网络或目标网络确定待训练业务网络的目标业务网络，可以减少剪枝后的目标业务网络进行业务处理的计算量，且在保证原始的网络精度的基础上，可以提高网络的训练效率，实现了网络训练效率和精度之间的平衡。

根据下面参考附图对示例性实施例的详细说明，本申请的其它特征及方面将变得清楚。

附图说明

包含在说明书中并且构成说明书的一部分的附图与说明书一起示出了本申请的示例性实施例、特征和方面，并且用于解释本申请的原理。

图1示出根据本申请一实施例提供的一种应用系统的示意图；

图2示出根据本申请一实施例的目标业务网络确定方法的流程图；

图3示出根据本申请一实施例的基于预设剪枝比例对对比网络进行剪枝处理，得到目标网络的流程图；

图4示出根据本申请一实施例的根据预设剪枝比例和权重信息，筛选出对比网络中的目标神经元的流程图；

图5示出根据本申请一实施例的基于训练业务数据集对对比网络和目标网络分别进行训练，得到对比网络对应的第一损失信息和目标网络对应的第二损失信息的流程图；

图6示出根据本申请一实施例的基于第一损失信息和第二损失信息，对对比网络进行更新的流程图；

图7示出根据本申请一实施例的根据达到第一预设收敛条件时得到的对比网络或目标网络，确定待训练业务网络的目标业务网络的流程图；

图8示出根据本申请一实施例的目标业务网络确定方法的流程框图；

图9示出根据本申请一实施例的目标业务网络确定装置的框图；

图10是根据一示例性实施例示出的一种用于目标业务网络确定或业务处理的电子设备的框图；

图11是根据一示例性实施例示出的一种用于目标业务网络确定或业务处理的电子设备的框图。

具体实施方式

以下将参考附图详细说明本申请的各种示例性实施例、特征和方面。附图中相同的附图标记表示功能相同或相似的元件。尽管在附图中示出了实施例的各种方面，但是除非特别指出，不必按比例绘制附图。

在这里专用的词“示例性”意为“用作例子、实施例或说明性”。这里作为“示例性”所说明的任何实施例不必解释为优于或好于其它实施例。

另外，为了更好的说明本申请，在下文的具体实施方式中给出了众多的具体细节。本领域技术人员应当理解，没有某些具体细节，本申请同样可以实施。在一些实例中，对于本领域技术人员熟知的方法、手段、元件和电路未作详细描述，以便于凸显本申请的主旨。

人工智能(Artificial Intelligence，AI)是利用数字计算机或者数字计算机控制的机器模拟、延伸和扩展人的智能，感知环境、获取知识并使用知识获得最佳结果的理论、方法、技术及应用系统。人工智能软件技术主要包括计算机视觉技术、语音处理技术、自然语言处理技术以及机器学习/深度学习等几大方向。

近年来，随着人工智能技术研究和进步，人工智能技术在多个领域得到广泛应用，本申请实施例提供的方案涉及机器学习/深度学习等技术，具体通过如下实施例进行说明：

请参阅图1，图1示出根据本申请一实施例提供的一种应用系统的示意图。所述应用系统可以用于本申请的目标业务网络确定方法或业务处理方法方法。如图1所示，该应用系统至少可以包括服务器01和终端02。

本申请实施例中，服务器01可以为用于训练目标业务网络。具体地，所述服务器01可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云计算服务的云服务器。

本申请实施例中，终端02可以基于服务器01训练好的目标业务网络进行业务处理。所述终端02可以包括智能手机、台式计算机、平板电脑、笔记本电脑、智能音箱、数字助理、增强现实(augmented reality，AR)/虚拟现实(virtual reality，VR)设备、智能可穿戴设备等类型的实体设备，也可以包括运行于实体设备中的软体，例如应用程序等。本申请实施例中终端02上运行的操作系统可以包括但不限于安卓系统、IOS系统、linux、windows等。

此外，需要说明的是，图1所示的仅仅是本公开提供的一种应用环境，在实际应用中，还可以包括其他应用环境，例如目标业务网络的训练也可以在终端02上实现。

本说明书实施例中，上述终端02以及服务器01可以通过有线或无线通信方式进行直接或间接地连接，本申请对此不作限定。

需要说明的是，以下图中示出的是一种可能的步骤顺序，实际上并不限定必须严格按照此顺序。有些步骤可以在互不依赖的情况下并行执行。

具体地，图2示出根据本申请实施例提供的一种目标业务网络确定方法的流程图。如图2所示，该目标业务网络确定方法用于终端或服务器等电子设备中，包括以下步骤：

在步骤S201中，获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集。

在本说明书实施例中，待训练业务网络可以为预设业务对应的待训练神经网络；相应的，训练业务数据集可以为预设业务对应的业务数据集，具体的，训练业务数据集包括样本多媒体资源和样本多媒体资源对应业务标注处理结果。具体的，预设业务可以结合实际应用场景的需求不同而不同。

在一个具体的实施例中，以预设业务为分类业务为例，上述训练业务数据集中的样本多媒体资源可以包括样本图像，训练业务数据集中的样本多媒体资源对应的业务标注处理结果可以包括样本图像中对象的类别标注信息(具体的类别可以结合场景需求不同而不同，例如可以为图像中的对象的类别，可选的，对象的类别可以包括猫、狗等)。在另一个具体的实施例中，以预设业务为召回业务为例，训练业务数据集中的样本多媒体资源可以包括正样本数据(目标对象属性信息和目标对象行为过的样本多媒体资源的资源信息)和负样本数据(目标对象属性信息和目标对象未行为过的样本多媒体资源的资源信息)，其中，目标对象可以是指用户；训练业务数据集中的样本多媒体资源对应的业务标注处理结果可以包括样本多媒体资源被推荐给目标对象的概率(可选的，正样本数据对应的概率可以为1，负样本数据对应的概率可以为0)。具体的，目标对象属性信息可以包括但不限于目标对象性别、年龄、学历、地域等表征目标对象个人属性的信息，目标对象行为过的样本多媒体资源的资源信息可以为用于描述样本多媒体资源的信息，以样本多媒体资源为视频为例，资源属性信息可以包括发布者信息、播放时长等文本属性信息，还可以包括封面、视频帧图像等图像属性信息。

在一个具体的实施例中，在初始状态下，可以将待训练业务网络作为对比网络。具体地，对比网络可以是与待训练业务网络的神经网络及其参数均相同的网络。

在一个具体的实施例中，预设剪枝比例可以是预先设置的剪掉的神经元数量占对比网络的神经元数量的比例。预设剪枝比例可以根据实际需要进行设置，例如可以是0.002。

在步骤S202中，基于预设剪枝比例对对比网络进行剪枝处理，得到目标网络。

在一个具体的实施例中，目标网络可以是指由对比网络基于预设剪枝比例进行剪枝处理得到的网络。

在一个具体的实施例中，如图3所示，上述步骤S202可以包括：

S301.获取对比网络中多个神经元各自对应的权重信息。

在一个具体的实施例中，对比网络中每个神经元的权重信息可以表征该神经元在对比网络中的重要程度，每个神经元的权重信息可以是根据神经元的参数确定的。具体地，对比网络中每个神经元的权重信息可以是该神经元的参数的平方和，或者还可以是该神经元的参数的绝对值之和。

S302.根据预设剪枝比例和权重信息，筛选出对比网络中的目标神经元，并将目标神经元从对比网络中剪除。

其中，目标神经元可以是指对比网络中待剪除的神经元。

在一个具体的实施例中，在训练过程中，可以通过将需要剪出的神经元的参数置零等价实现神经元的剪除过程。

在一个具体的实施例中，如图4所示，上述根据预设剪枝比例和权重信息，筛选出对比网络中的目标神经元，可以包括：

S401.根据预设剪枝比例和对比网络中的神经元数量，得到目标剪除数量。

在一个具体的实施例中，将对比网络的神经元数量与预设剪枝比例相乘，可以得到目标剪枝数量。

S402.将对比网络中的多个神经元按照权重信息进行升序排序，得到神经元序列。

在一个具体的实施例中，将对比网络中的多个神经元按照权重信息进行升序排序，可以得到按照重要程度排序的神经元序列。

S403.基于神经元序列和目标剪除数量，筛选出目标神经元。

在一个具体的实施例中，从神经元序列中权重信息最小的神经元开始，按照顺序筛选出与目标剪除数量等量的神经元，作为目标神经元。

在上述实施例中，通过基于对比网络中多个神经元各自的权重信息对多个神经元进行升序排序得到神经元序列，基于神经元序列和目标剪除数量筛选出目标神经元，并将对比网络中的目标神经元剪除，可以快速和准确地筛选出对比网络中不重要的神经元并进行剪除。

在步骤S203中，基于训练业务数据集对对比网络和目标网络分别进行训练，得到对比网络对应的第一损失信息和目标网络对应的第二损失信息。

其中，第一损失信息可以表征进行训练后的对比网络的第一业务处理结果与业务标注处理结果之间的差异程度；第二损失信息可以表征进行训练后的目标网络的第二业务处理结果与业务标注处理结果之间的差异程度。

在一个具体的实施例中，如图5所示，上述步骤S203可以包括：

S501.从训练业务数据集中确定当前训练数据。

在一个具体的实施例中，当前训练数据可以是指当前输入至对比网络和目标网络进行训练所采用的训练数据；当前训练数据可以包括样本多媒体资源。可选的，训练业务数据集可以包括按序排列的样本多媒体资源序列和样本多媒体资源序列中每个样本多媒体资源各自对应的业务标注处理结果；在训练过程中，可以按照当前业务迭代次数从训练数据序列中选取对应序号的样本多媒体资源，作为当前训练数据。

S502.将当前训练数据分别输入对比网络和目标网络进行业务处理，得到对比网络对应的第一业务处理结果和目标网络对应的第二业务处理结果。

在一个具体的实施例中，可以通过将当前训练数据输入至对比网络和目标网络中，将对比网络输出得到的结果作为第一业务处理结果，并将目标网络输出得到的结果作为第二业务处理结果。

S503.根据第一业务处理结果和当前训练数据对应的预设业务处理结果确定第一子损失信息。

在一个具体的实施例中，第一子损失信息可以表征第一业务处理结果与当前训练数据对应的预设业务处理结果之间的差异程度。

在一个具体的实施例中，可以通过获取用于计算第一子损失信息或第二子损失信息所采用的损失函数，基于当前训练数据输入至对比网络得到的第一业务处理结果、当前训练数据对应的预设业务处理结果以及上述损失函数，可以得到第一子损失信息。在本实施例中，可以采用交叉熵损失函数作为计算第一子损失信息或第二子损失信息的损失函数，具体的可以根据实际需要选用二元交叉熵、多分类交叉熵或稀疏多分类交叉熵，本公开不作限定。

S504.根据第二业务处理结果和当前训练数据对应的业务标注处理结果确定第二子损失信息。

在一个具体的实施例中，第二子损失信息可以表征第二业务处理结果与当前训练数据对应的预设业务处理结果之间的差异程度。具体地，可以基于当前训练数据输入至目标网络得到的第二业务处理结果、当前训练数据对应的预设业务处理结果以及上述损失函数，得到第二子损失信息。

S505.从训练业务数据集中重新确定当前训练数据。

在一个具体的实施例中，在得到第一子损失信息和第二子损失信息后，可以更新当前业务迭代次数，更新后的当前业务迭代次数可以在更新前的当前业务迭代次数的基础上加1；可以通过重新从训练数据序列中选取更新后的当前业务迭代次数对应序号的样本多媒体资源，作为重新确定的当前训练数据。

S506.基于重新确定的当前训练数据重复将当前训练数据分别输入对比网络和目标网络进行业务处理，得到对比网络对应的第一业务处理结果和目标网络对应的第二业务处理结果至根据第二业务处理结果和当前训练数据对应的预设业务处理结果确定第二子损失信息的业务迭代步骤，至满足第二预设收敛条件。

在一个具体的实施例中，第二预设收敛条件可以是当前业务迭代次数满足预设业务迭代次数。具体地，可以通过对比当前业务迭代次数与预设业务迭代次数判断是否达到第二预设收敛条件，若当前业务迭代次数大于等于预设业务迭代次数则可以确定达到第二预设收敛条件，若当前业务迭代次数小于预设业务迭代次数则可以确定当前未达到第二预设收敛条件，继续重复业务迭代步骤。

在一个具体的实施例中，在未达到第二预设收敛条件的情况下，可以基于第一子损失信息更新对比网络，并基于第二子损失信息更新目标网络，将重新确定的当前训练数据输入至更新后的对比网络和目标网络重复业务迭代步骤，直至满足第二预设收敛条件，进入步骤S507。

S507.基于业务迭代步骤中得到的第一子损失信息确定第一损失信息。

在一个具体的实施例中，每个业务迭代步骤对应的第一子损失信息与该业务迭代步骤中输入至对比网络的当前训练数据相对应。每个业务迭代步骤对应的第一子损失信息可以表征该业务迭代步骤中的第一业务处理结果与当前训练数据对应的预设业务处理结果之间的差异程度。

在一个具体的实施例中，可以根据多个业务迭代步骤各自对应的第一子损失信息确定第一损失信息。具体地，可以基于多个业务迭代步骤各自对应的第一子损失信息进行求和处理，得到第一损失信息。

S508.基于业务迭代步骤中得到的第二子损失信息确定第二损失信息。

在一个具体的实施例中，每个业务迭代步骤对应的第二子损失信息与该业务迭代步骤中输入至目标网络的当前训练数据相对应。每个业务迭代步骤对应的第二子损失信息可以表征该业务迭代步骤中的第二业务处理结果与当前训练数据对应的预设业务处理结果之间的差异程度。

在一个具体的实施例中，可以根据多个业务迭代步骤各自对应的第二子损失信息确定第二损失信息。具体地，可以基于多个业务迭代步骤各自对应的第二子损失信息进行求和处理，得到第二损失信息。

在上述实施例中，通过多个业务迭代步骤中的第一子损失信息确定第一损失信息，基于多个业务迭代步骤中的第二子损失信息确定第二损失信息，可以避免由于单次训练得到的偶然性而导致第一损失信息和第二损失信息存在较大的误差，进而提升训练出的网络的业务处理精度。

在步骤S204中，基于第一损失信息和第二损失信息，对对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复基于预设剪枝比例对对比网络进行剪枝处理，得到目标网络至基于第一损失信息和第二损失信息，对对比网络进行更新的剪枝迭代步骤，直至达到第一预设收敛条件。

其中，达到第一预设收敛条件可以是当前剪枝迭代次数满足预设剪枝迭代次数，或者还可以是第一损失信息或第二损失信息小于预设损失信息。具体地，可以在基于第一损失信息和第二损失信息，对对比网络进行更新之前，确定当前剪枝迭代次数，并通过对比当前剪枝迭代次数与预设剪枝迭代次数判断是否达到第一预设收敛条件，若当前剪枝迭代次数大于等于预设剪枝迭代次数，可以确定达到第一预设收敛条件，若当前剪枝迭代次数小于预设剪枝迭代次数，则可以确定当前未达到第一预设收敛条件，继续重复剪枝迭代步骤。

在一个具体的实施例中，当前的预设剪枝比例可以是指在当前剪枝迭代步骤中对对比网络进行剪枝处理过程中使用的剪枝比例。当前的预设剪枝比例可以是基于每次剪枝迭代步骤对应的单位增量比例对预设剪枝比例进行更新得到的。

在一个具体的实施例中，单位增量比例可以是预设的增量比例，单位增量比例可以是固定不变的，也可以是随当前剪枝迭代次数变化的。具体地，在单位增量比例是固定的情况下，单位增量比例的取值范围可以是(0,0.005]，例如可以是0.002。在单位增量比例随当前剪枝迭代次数变化的情况下，可以预先建立剪枝迭代次数与单位增量比例的对应关系，在上述剪枝迭代次数与单位增量比例的对应关系中，可以是随着剪枝迭代次数的增加，单位增量比例逐渐减少；通过获取当前剪枝迭代次数，并基于剪枝迭代次数与单位增量比例的对应关系和当前剪枝迭代次数，确定当前剪枝迭代次数对应的单位增量比例，并将该单位增量比例作为更新后的预设剪枝比例。

在上述实施例中，随着剪枝迭代次数的上升，对比网络相对于待训练业务网络的剪枝比例逐渐趋向于理想的剪枝比例，可以通过适当的降低单位增量比例，以实现剪枝比例的精准调节，进而可以提升训练出的目标业务网络的业务处理精度。

在一个具体的实施例中，如图6所示，上述基于第一损失信息和第二损失信息，对对比网络进行更新，可以包括：

S601.在第一损失信息大于第二损失信息的情况下，将训练后的目标网络作为更新后的对比网络。

S602.在第一损失信息小于等于第二损失信息的情况下，保持对比网络不变。

上述实施例中，每次剪枝迭代过程中的损失信息越小可以说明该损失信息对应的网络在本次剪枝迭代过程中表现越好，可以通过第一损失信息和第二损失信息比对，选取损失信息较小的网络作为更新后的对比网络，可以选取到本次剪枝迭代过程中更为合适的剪枝比例的网络作为下一次剪枝迭代的对比网络，进而可以提升目标业务网络的训练效率。

在步骤S205中，根据达到第一预设收敛条件时得到的对比网络或目标网络，确定待训练业务网络的目标业务网络。

在一个具体的实施例中，在达到第一预设收敛条件时，可以根据达到第一预设收敛条件时训练得到的对比网络或目标网络，确定待训练业务网络的目标业务网络。具体地，可以将达到第一预设收敛条件时训练得到的对比网络和目标网络中的任一网络作为目标业务网络。

在一个具体的实施例中，由于训练时是通过将需要剪除的神经元的参数置零来代表剪除，在达到第一预设收敛条件后，可以通过将目标网络或对比网络中参数为0的神经元剪除后得到的网络作为目标业务网络。

在一个具体的实施例中，如图7所示，上述步骤S205可以包括：

S701.比对第一预设收敛条件对应的第一损失信息及对应的第二损失信息。

在一个具体的实施例中，第一预设收敛条件对应的第一损失信息可以是指在达到第一预设收敛条件时的对比网络对应的第一损失信息；第一预设收敛条件对应的第二损失信息可以是指在达到第一预设收敛条件时的目标网络对应的第二损失信息。

S702.在第一损失信息小于第二损失信息的情况下，将对比网络作为目标业务网络。

S703.在第一损失信息大于等于第二损失信息的情况下，将目标网络作为目标业务网络。

上述实施例中，可以通过选取损失信息较小的网络作为目标业务网络，选取到更为合适的剪枝比例的网络作为目标业务网络，进而可以提升训练出的网络的业务处理精度。

在上述实施例中，通过使用剪枝比例不同的对比网络和目标网络分别进行训练，在训练过程中根据第一损失信息和第二损失信息对对比网络进行更新迭代，并根据达到第一预设收敛条件时得到的对比网络或目标网络确定待训练业务网络的目标业务网络，通过在训练过程中多次迭代，可以得到一个较为合适的剪枝比例，减少剪枝后的目标业务网络进行业务处理的计算量，且可以在保证原始的网络精度的基础上，提高网络的训练效率，实现了网络训练效率和精度之间的平衡。

图8示出根据本申请一实施例的目标业务网络确定方法的流程框图。在一个具体的实施例中，如图8所示，首先可以通过将待训练业务网络作为对比网络，此时的当前剪枝迭代次数为0，基于预设剪枝比例对对比网络进行剪枝处理可以得到目标网络，基于训练业务数据集可以同时对对比网络和目标网络进行训练，根据是否满足第一预设收敛条件确定是否结束训练，在不满足第一预设收敛条件的情况下，可以通过比对第一损失信息和第二损失信息，选择较小的损失信息对应的网络作为下一轮剪枝迭代的对比网络并返回至基于预设剪枝比例对对比网络进行剪枝处理得到目标网络步骤，此时的当前剪枝迭代次数可以随之加1，重复上述步骤直至满足第一预设收敛条件，可以将满足第一预设收敛条件下的目标网络作为目标业务网络。

基于上述的目标业务网络确定方法得到的目标业务网络，本公开还提供一种业务处理方法，该业务处理方法可以用于终端、服务器等电子设备中，可以包括以下步骤：

获取目标业务对应的待处理多媒体资源；

将待处理多媒体资源输入根据上述目标业务网络确定方法得到的目标业务网络进行业务处理，得到待处理多媒体资源对应的业务处理结果。

在一个具体的实施例中，上述的目标业务网络可以包括但不限于分类网络、目标检测网络、场景分割网络等，相应的，待处理多媒体资源可以为需要分类、需要进行检测目标、或需要分割场景的图像。相应的，业务处理结果可以为类别信息，检测到的面部的位置信息，分割出的场景信息等。

图9示出根据本申请一实施例的目标业务网络确定装置的框图。如图8所示，该装置可以包括：

获取模块910，用于获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集，训练业务数据集包括样本多媒体资源和样本多媒体资源对应业务标注处理结果；

目标网络获取模块920，用于基于预设剪枝比例对对比网络进行剪枝处理，得到目标网络；

损失信息获取模块930，用于基于训练业务数据集对对比网络和目标网络分别进行训练，得到对比网络对应的第一损失信息和目标网络对应的第二损失信息；

执行模块940，用于基于第一损失信息和第二损失信息，对对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复基于预设剪枝比例对对比网络进行剪枝处理，得到目标网络至基于第一损失信息和第二损失信息，对对比网络进行更新的剪枝迭代步骤，直至达到第一预设收敛条件；当前的预设剪枝比例为基于每次剪枝迭代步骤对应的单位增量比例对预设剪枝比例进行更新得到的；

目标业务网络确定模块950，用于根据达到第一预设收敛条件时得到的对比网络或目标网络，确定待训练业务网络的目标业务网络。

本公开实施例还提供一种业务处理装置，包括：

多媒体资源获取模块，用于获取目标业务对应的待处理多媒体资源；

业务处理模块，用于将待处理多媒体资源输入根据上述目标业务网络确定方法得到的目标业务网络进行业务处理，得到待处理多媒体资源对应的业务处理结果。

关于上述实施例中的装置，其中各个模块和单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

图10是根据一示例性实施例示出的一种用于目标业务网络确定或业务处理的电子设备的框图，该电子设备可以是服务器，其内部结构图可以如图10所示。该电子设备包括通过系统总线连接的处理器、存储器和网络接口。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标业务网络确定或业务处理方法。

图11是根据一示例性实施例示出的一种用于目标业务网络确定或业务处理的电子设备的框图，该电子设备可以是终端，其内部结构图可以如图11所示。该电子设备包括通过系统总线连接的处理器、存储器、网络接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的网络接口用于与外部的终端通过网络连接通信。该计算机程序被处理器执行时以实现一种目标业务网络确定或业务处理方法。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。

本领域技术人员可以理解，图10或图11中示出的结构，仅仅是与本公开方案相关的部分结构的框图，并不构成对本公开方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。

另一方面，本申请还提供了一种计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本公开实施例中的目标业务网络确定或业务处理方法。

另一方面，本申请提供了一种计算机程序产品或计算机程序，该计算机程序产品或计算机程序包括计算机指令，该计算机指令存储在计算机可读存储介质中。计算机设备的处理器从计算机可读存储介质读取该计算机指令，处理器执行该计算机指令，使得该计算机设备执行上述的各种可选实现方式中提供的目标业务网络确定或业务处理方法。

在示例性实施例中，还提供了一种电子设备，包括：处理器；用于存储该处理器可执行指令的存储器；其中，该处理器被配置为执行该指令，以实现如本申请实施例中的目标业务网络确定或业务处理方法。

在示例性实施例中，还提供了一种存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行本申请实施例中的目标业务网络确定或业务处理方法。

在示例性实施例中，还提供了一种包含指令的计算机程序产品，当其在计算机上运行时，使得计算机执行本申请实施例中的目标业务网络确定或业务处理方法。

可以理解的是，在本申请的具体实施方式中，涉及到用户信息等相关的数据，当本申请以上实施例运用到具体产品或技术中时，需要获得用户许可或者同意，且相关数据的收集、使用和处理需要遵守相关国家和地区的相关法律法规和标准。

本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，该计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本申请所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和/或易失性存储器。非易失性存储器可包括只读存储器(ROM)、可编程ROM(PROM)、电可编程ROM(EPROM)、电可擦除可编程ROM(EEPROM)或闪存。易失性存储器可包括随机存取存储器(RAM)或者外部高速缓冲存储器。作为说明而非局限，RAM以多种形式可得，诸如静态RAM(SRAM)、动态RAM(DRAM)、同步DRAM(SDRAM)、双数据率SDRAM(DDRSDRAM)、增强型SDRAM(ESDRAM)、同步链路(Synchlink)DRAM(SLDRAM)、存储器总线(Rambus)直接RAM(RDRAM)、直接存储器总线动态RAM(DRDRAM)、以及存储器总线动态RAM(RDRAM)等。

本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本申请的真正范围和精神由下面的权利要求指出。

应当理解的是，本申请并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本申请的范围仅由所附的权利要求来限制。

Claims (10)

1.一种目标业务网络确定方法，其特征在于，所述方法包括：

获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集，所述训练业务数据集包括样本多媒体资源和所述样本多媒体资源对应业务标注处理结果；

基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络；

基于所述训练业务数据集对所述对比网络和所述目标网络分别进行训练，得到所述对比网络对应的第一损失信息和所述目标网络对应的第二损失信息；

基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复所述基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络至所述基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新的剪枝迭代步骤，直至达到第一预设收敛条件；所述当前的预设剪枝比例为基于每次剪枝迭代步骤对应的单位增量比例对所述预设剪枝比例进行更新得到的；

根据达到所述第一预设收敛条件时得到的对比网络或目标网络，确定所述待训练业务网络的目标业务网络。

2.根据权利要求1所述的方法，其特征在于，所述基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新，包括：

在所述第一损失信息大于所述第二损失信息的情况下，将训练后的目标网络作为更新后的对比网络；

在所述第一损失信息小于等于所述第二损失信息的情况下，保持所述对比网络不变。

3.根据权利要求1所述的方法，其特征在于，所述基于所述训练业务数据集对所述对比网络和所述目标网络分别进行训练，得到所述对比网络对应的第一损失信息和所述目标网络对应的第二损失信息，包括：

从所述训练业务数据集中确定当前训练数据；

将所述当前训练数据分别输入所述对比网络和所述目标网络进行业务处理，得到所述对比网络对应的第一业务处理结果和所述目标网络对应的第二业务处理结果；

根据所述第一业务处理结果和所述当前训练数据对应的预设业务处理结果确定第一子损失信息；

根据所述第二业务处理结果和所述当前训练数据对应的业务标注处理结果确定第二子损失信息；

从所述训练业务数据集中重新确定所述当前训练数据；

基于重新确定的所述当前训练数据重复所述将所述当前训练数据分别输入所述对比网络和所述目标网络进行业务处理，得到所述对比网络对应的第一业务处理结果和所述目标网络对应的第二业务处理结果至根据所述第二业务处理结果和所述当前训练数据对应的预设业务处理结果确定第二子损失信息的业务迭代步骤，至满足第二预设收敛条件；

基于所述业务迭代步骤中得到的第一子损失信息确定所述第一损失信息；

基于所述业务迭代步骤中得到的第二子损失信息确定所述第二损失信息。

4.根据权利要求1所述的方法，其特征在于，所述根据达到所述第一预设收敛条件时得到的对比网络或目标网络，确定所述待训练业务网络的目标业务网络，包括：

比对所述第一预设收敛条件对应的第一损失信息及对应的第二损失信息；

在所述第一损失信息小于所述第二损失信息的情况下，将所述对比网络作为所述目标业务网络；

在所述第一损失信息大于等于所述第二损失信息的情况下，将所述目标网络作为所述目标业务网络。

5.根据权利要求1所述的方法，其特征在于，所述基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络，包括：

获取所述对比网络中多个神经元各自对应的权重信息；

根据所述预设剪枝比例和所述权重信息，筛选出所述对比网络中的目标神经元，并将所述目标神经元从所述对比网络中剪除。

6.根据权利要求5所述的方法，其特征在于，所述根据所述预设剪枝比例和所述权重信息，筛选出所述对比网络中的目标神经元，包括：

根据所述预设剪枝比例和所述对比网络中的神经元数量，得到目标剪除数量；

将所述对比网络中的多个神经元按照所述权重信息进行升序排序，得到神经元序列；

基于所述神经元序列和所述目标剪除数量，筛选出所述目标神经元。

7.一种业务处理方法，其特征在于，包括：

获取目标业务对应的待处理多媒体资源；

将所述待处理多媒体资源输入根据权利要求1至6任一所述的目标业务网络确定方法得到的目标业务网络进行业务处理，得到所述待处理多媒体资源对应的业务处理结果。

8.一种目标业务网络确定装置，其特征在于，所述装置包括：

获取模块，用于获取待训练业务网络对应的对比网络、预设剪枝比例和训练业务数据集，所述训练业务数据集包括样本多媒体资源和所述样本多媒体资源对应业务标注处理结果；

目标网络获取模块，用于基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络；

损失信息获取模块，用于基于所述训练业务数据集对所述对比网络和所述目标网络分别进行训练，得到所述对比网络对应的第一损失信息和所述目标网络对应的第二损失信息；

执行模块，用于基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新，基于更新后的对比网络和当前的预设剪枝比例，重复所述基于所述预设剪枝比例对所述对比网络进行剪枝处理，得到目标网络至所述基于所述第一损失信息和所述第二损失信息，对所述对比网络进行更新的剪枝迭代步骤，直至达到第一预设收敛条件；所述当前的预设剪枝比例为基于每次剪枝迭代步骤对应的单位增量比例对所述预设剪枝比例进行更新得到的；

目标业务网络确定模块，用于根据达到所述第一预设收敛条件时得到的对比网络或目标网络，确定所述待训练业务网络的目标业务网络。

9.一种业务处理装置，其特征在于，包括：

多媒体资源获取模块，用于获取目标业务对应的待处理多媒体资源；

业务处理模块，用于将所述待处理多媒体资源输入根据权利要求1至6任一所述的目标业务网络确定方法得到的目标业务网络进行业务处理，得到所述待处理多媒体资源对应的业务处理结果。

10.一种电子设备，其特征在于，包括：

处理器；

用于存储处理器可执行指令的存储器；

其中，所述处理器被配置为执行所述可执行指令以实现权利要求1至6中任意一项所述的目标业务网络确定方法，或如权利要求7所述的业务处理方法。

Images