CN110728374A - 一种数据处理方法、装置及电子设备 - Google Patents

Abstract

本申请公开了一种数据处理方法及装置，包括：在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值，在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。所述数据处理方法及装置，在模型训练过程中，能够依据权重在迭代过程中的至少两个距零值确定对应的权重参数的重要性，直接对不满足预设要求的权重参数进行裁剪，实现过程中不需要再对人工智能模型进行次数巨大的迭代，因而节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

Description

一种数据处理方法、装置及电子设备

技术领域

本申请涉及数据处理技术，更具体的说，是涉及一种数据处理方法、装置及电子设备。

背景技术

在深度学习模型成型之前的训练阶段，需要根据训练时的输入输出，对深度学习模型进行裁剪调整，以将一些对网络贡献冗余的非零权重参数裁剪掉，从而提升整个深度学习模型的精度。

发明内容

有鉴于此，本申请提供如下技术方案：

一种数据处理方法，包括：

在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：

至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值；

在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

可选的，所述第一距零值早于所述第二距零值出现，则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，包括：

在所述第二距零值小于所述第一距零值，且所述第二距零值的绝对值小于第一阈值的情况下，将所述权重参数主体的权重值设为零。

可选的，还包括：

依据所述第一距零值和所述第二距零值，确定每一个权重参数主体的权重的距零值变化幅度；

依据所述距零值变化幅度确定每一个权重参数主体的重要性数值；

则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，包括：

将重要性数值不满足第一条件的权重参数主体的权重值设为零。

可选的，所述确定每一个权重参数主体的权重的距零值变化幅度，包括：

确定每一个权重参数主体迭代前和迭代后的权重的距零值变化幅度；

所述确定各个权重参数主体迭代前和迭代后的权重的距零值变化幅度，包括：

设置固定的迭代步伐，确定迭代后与迭代前权重参数主体的权重的距零值变化幅度；

或，

设置固定的迭代步伐，确定权重参数主体迭代后的权重值与其初始权重值之间的距零值变化幅度；

或，

确定模型经过迭代满足精度要求后，权重参数主体的权重值与其初始权重值之间的距零值变化幅度。

可选的，所述将重要性数值不满足第一条件的权重参数主体的权重值设为零，包括：

将重要性数值小于第二阈值的权重参数主体的权重值设为零；

或，

将重要性数值由大到小的队列中，末尾的第一比例的权重参数主体的权重值设为零。

可选的，还包括：

确定每一个权重参数主体迭代后的权重值的绝对值；

则所述依据所述距零值变化幅度确定各个权重参数主体的重要性数值，包括：

依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值。

可选的，所述依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值，包括：

针对每一个权重参数主体，确定其距零值变化幅度与最小的变化幅度的第一差值；确定所有权重的距零值变化幅度跨度；基于所述第一差值与所述距零值变化幅度跨度的比值确定变化幅度比例；

针对每一个权重参数主体，确定其权重绝对值与最小权重绝对值的第二差值；确定所有权重的权重绝对值跨度；基于所述第二差值与所述权重绝对值跨度的比值确定绝对值比例；

针对每一个权重参数主体，设变化幅度比例的权重为第一权重，绝对值比例的权重为第二权重，所述第一权重和所述第二权重的和为1，将加权变化幅度比例和加权绝对值比例求和得到权重参数主体的重要性数值。

可选的，在模型训练场景下，将所述第一权重设置为1，第二权重设置为0；在模型微调场景下，所述第一权重和所述第二权重均不为0。

可选的，所述权重参数主体包括一个权重参数或至少两个权重参数；在所述权重参数主体包括至少两个权重参数时，所述确定各个权重参数主体的权重的距零值变化幅度，包括：

将权重参数主体中包括的至少两个权重参数的权重的距零值变化幅度求和，将求和值作为所述权重参数主体的距零值变化幅度；

则所述确定各个权重参数主体迭代后的权重值的绝对值，包括：

将权重参数主体中包括的至少两个权重参数迭代后的权重值的绝对值求和，将求和值作为所述权重参数主体的权重值的绝对值。

一种数据处理装置，包括：

距零值确定模块，用于在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值；

权重值设置模块，用于在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

经由上述的技术方案可知，与现有技术相比，本申请实施例公开了一种数据处理方法及装置，包括：在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值，在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。所述数据处理方法及装置，在模型训练过程中，能够依据权重在迭代过程中的至少两个距零值确定对应的权重参数的重要性，直接对不满足预设要求的权重参数进行裁剪，实现过程中不需要再对人工智能模型进行次数巨大的迭代，因而节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

附图说明

为了更清楚地说明本申请实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本申请的实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据提供的附图获得其他的附图。

图1为本申请实施例公开的一种数据处理方法的流程图；

图2为本发明实施例公开的另一种数据处理方法的流程图；

图3为本申请实施例公开的又一种数据处理方法的流程图；

图4为本申请实施例公开的确定参数主体重要性数值的流程图；

图5为本申请实施例公开的一种数据处理装置的结构示意图；

图6为本发明实施例公开的另一种数据处理装置的结构示意图；

图7为本申请实施例公开的又一种数据处理装置的结构示意图；

图8为本申请实施例公开的重要性确定模块的结构示意图。

具体实施方式

下面将结合本申请实施例中的附图，对本申请实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本申请一部分实施例，而不是全部的实施例。基于本申请中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本申请保护的范围。

图1为本申请实施例公开的一种数据处理方法的流程图，参见图1所示，数据处理方法可以包括：

步骤101：在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值。

在模型训练的过程中，需要基于模型进行不断的迭代过程，即不断的向模型输入数据，然后根据输出结果不断的来修正调整模型中的相关参数，使得最终得到的模型精度满足使用要求。对于模型中的多个参数主体，由于在训练开始前并不知晓每一个参数主体在模型中的重要性程度，因此在训练开始时会为每一个参数主体随机配置一个初始权重，在后续不断迭代的过程中，使得主体参数的初始权重不断趋向于其精准值。由于初始模型包含的数据量巨大，在迭代过程中，可以将重要性低的主体参数裁减掉，得到满足要求的精简的模型；在迭代过程中，裁剪主体参数的具体实现可以是在判断出主体参数的重要性低时，将其权重值，即对模型网络贡献冗余的参数主体的权重值设为0，这样，权重值设为0的参数主体将不会再对模型网络产生任何影响。

本实施例中，针对多个权重参数主体中的每一个权重参数主体都会进行相应的判断分析，以保证对模型裁剪的准确度。其中，所述多个权重参数主体可以是整个模型中的所有参数主体，也可以为整个模型中的部分参数主体。因为模型中的一些权重参数主体，即使在不经过迭代训练的情况下，也能够根据模型类型及功能确定其对模型网络具有实际贡献意义，这种情况下，可以将其直接排除在待压缩参数主体集合(上述多个权重参数主体)外。

针对多个权重参数主体中的每一个权重参数主体，首先需要确定其在多次迭代过程中的第一距零值和第二距零值。由于迭代步长越小，相应权重参数的变化值越小，因此，为了更好的了解权重变化情况，所述第一距零值和所述第二距零值之间相差的迭代次数不宜过少。

步骤102：在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

参数主体的所述第一距零值和所述第二距零值是在不同时间出现的，根据其先后出现关系，以及所述第一距零值到第二距零值的变化情况，可以确定所述参数主体的权重值的变化趋势，基于其变化趋势及具体数值可以确定所述参数主体在模型网络中的重要程度，若其重要性较低，可以在满足精度要求的前提下，将其裁减掉，以简化模型网络。

例如，在一个示意性的示例中，所述第一距零值早于所述第二距零值出现，则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，可以包括：在所述第二距零值小于所述第一距零值，且所述第二距零值的绝对值小于第一阈值的情况下，将所述权重参数主体的权重值设为零。在所述第二距零值小于所述第一距零值时，说明随着迭代过程的进行，所述参数主体的权重值在向0收敛，这种情况下，若第二距零值的绝对值已经小于一个比较小的数值(第一阈值)，如0.15，则说明随着迭代过程的进行，所述参数主体的权重值会向0无限趋近，所述参数主体对模型网络的贡献度越来越小，这种情况下，可以直接将所述权重参数主体的权重值设为零，即将所述参数主体从模型网络中裁减掉。

本实施例中，所述数据处理方法，在模型训练过程中，能够依据权重在迭代过程中的至少两个距零值确定对应的权重参数的重要性，直接对不满足预设要求的权重参数进行裁剪，实现过程中不需要再对人工智能模型进行次数巨大的迭代，因而节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

在上述本申请公开的实施例的基础上，图2为本发明实施例公开的另一种数据处理方法的流程图，如图2所示，数据处理方法可以包括：

步骤201：在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值。

步骤202：依据所述第一距零值和所述第二距零值，确定每一个权重参数主体的权重的距零值变化幅度。

所述确定每一个权重参数主体的权重的距零值变化幅度，可以包括：确定每一个权重参数主体迭代前和迭代后的权重的距零值变化幅度。其中，权重迭代前的数值可以是所述第一距零值，权重迭代后的数值可以为所述第二距零值。所述确定各个权重参数主体迭代前和迭代后的权重的距零值变化幅度，可以包括：设置固定的迭代步伐，确定迭代后与迭代前权重参数主体的权重的距零值变化幅度；或，设置固定的迭代步伐，确定权重参数主体迭代后的权重值与其初始权重值之间的距零值变化幅度；或，确定模型经过迭代满足精度要求后，权重参数主体的权重值与其初始权重值之间的距零值变化幅度。

步骤203：依据所述距零值变化幅度确定每一个权重参数主体的重要性数值。

理论上，由于各个参数主体的初始权重值都是随机配置的，大小差不多，因此，迭代后当权重的距零值变化幅度越大，则说明该权重对应的参数主体在模型网络中的重要性越高，其对应的重要性数值越大。

步骤204：将重要性数值不满足第一条件的权重参数主体的权重值设为零。

由于重要性数值可以为一个量化的数值，因此，所述将重要性数值不满足第一条件的权重参数主体的权重值设为零，可以包括：将重要性数值小于第二阈值的权重参数主体的权重值设为零；或，将重要性数值由大到小的队列中，末尾的第一比例的权重参数主体的权重值设为零。

本实施例中，将权重的距零值变化幅度作为判断参数主体的重要性的主要指标，而不直接以距零值的大小作为评判标准，整体方案更客观，判断出各个参数主体的重要性数值后，直接对不满足预设要求的权重参数进行裁剪，不需要再对人工智能模型进行次数巨大的迭代，节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

图3为本申请实施例公开的又一种数据处理方法的流程图，如图3所示，数据处理方法可以包括：

步骤301：在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值。

步骤302：依据所述第一距零值和所述第二距零值，确定每一个权重参数主体迭代前和迭代后的权重的距零值变化幅度。

步骤303：确定每一个权重参数主体迭代后的权重值的绝对值。

本实施例中，将权重参数主体迭代后的权重值的绝对值也作为判断参数主体重要性的指标之一。

步骤304：依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值。

步骤304中，将距零值变化幅度和权重值输入所述第一算法，将计算输出主体参数的重要性数值。具体的实现过程将在下面的实施例中将详细介绍。

步骤305：将重要性数值不满足第一条件的权重参数主体的权重值设为零。

本实施例中，根据训练过程中参数主体的权重的距零值变化幅度大小以及权重绝对值大小联合考虑，作为判决该参数主题重要性的依据，判断依据更加全面，判断结果更加准确可靠。

上述实施例中，所述依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值的具体实现可以参见图4，图4为本申请实施例公开的确定参数主体重要性数值的流程图，如图4所示，可以包括：

步骤401：针对每一个权重参数主体，确定其距零值变化幅度与最小的变化幅度的第一差值；确定所有权重的距零值变化幅度跨度；基于所述第一差值与所述距零值变化幅度跨度的比值确定变化幅度比例。

步骤402：针对每一个权重参数主体，确定其权重绝对值与最小权重绝对值的第二差值；确定所有权重的权重绝对值跨度；基于所述第二差值与所述权重绝对值跨度的比值确定绝对值比例。

步骤403：针对每一个权重参数主体，设变化幅度比例的权重为第一权重，绝对值比例的权重为第二权重，所述第一权重和所述第二权重的和为1，将加权变化幅度比例和加权绝对值比例求和得到权重参数主体的重要性数值。

在模型初始训练场景下，将所述第一权重设置为1，第二权重设置为0；在模型微调场景下，所述第一权重和所述第二权重均不为0。

下面以一个简单的单层权重例子来阐述本申请的具体实现思想。通过展示该裁剪算法的裁剪过程来实现分析处理参数主体的操作，主要是根据已知的初始权重，以及最终高精度权重，然后计算分析各个权重对应的参数主体重要性C。并假设裁剪率为50％，则根据下表计算过程可知，需要被裁减的参数主体为重要性排序末尾的参数主体。

表1

由上表可知以上权重对模型网络贡献的重要程度为：

w2>w4>w5>w6>w3>w1

参数主体重要性C的计算方法：

A＝(距0值变化幅度-最小变化幅度)/(最大变化幅度-最小变化幅度)

B＝(|最终值|-|最终权重最小值|)/(|最终权重最大值|-|最终权重最小值|)

C＝A*0.4+B*0.6

其中：A、B、C取值范围为[0～1]，上述比例参数0.4、0.6可根据实际情况改变。A和B的和等于1。

例如w1对应的参数主体重要性C的计算过程如下：

A(w1)＝[-0.11-(-0.11)]/(0.31-(-0.11))＝0

B(w1)＝(|0.01|-|0.01|)/(|0.34|-|0.01|)＝0

C(w1)＝A(w1)*0.4+B(w1)*0.6＝0

所有参数主体计算结果如下表2所示，并展示了根据裁剪率50％得到最终裁剪后的权重值，进而得到最终裁剪后的模型。

表2

由上述参数主体重要性C的计算公式我们可知，该公式充分考虑了参数主体在训练或微调过程中向零值靠近的程度以及权重参数最终绝对值的大小，其变化的主要趋势为：

距零值变化幅度大的+最终权重绝对值大的＝>权重参数重要性C变的更大；

距零值变化幅度小的+最终权重绝对值小的＝>权重参数重要性C变的更小。

因此，这样就能很好的将参数主体的重要性划分开来，以便很好地将不重要的参数主体筛选出来，以便下一步进行裁剪操作同时对精度影响最小。

模型训练的过程分为初始训练阶段和微调阶段。

在初始训练阶段(模型训练场景)，可以将权重值随机初始化或者高斯初始化等等，得到初始权重值。主要目的是给初始训练的各个权重值一个相对公平的起点，这样才能相对更好地观察权重距零值的变化幅度。

在微调阶段，由于权重值的大小相对来说已经有了一定的差异性，即距零幅度值已经产生，如果后期微调时，还只按距零值变化幅度作为唯一裁剪依据指标，则会对模型中参数主体相对来说不公平，因而会导致精度难以有效保证。因此，可以采用距零变化幅度值和权重值大小两个指标的综合值作为判决的依据，这样就能够很好预示参数主体的重要性。

此外，所述权重参数主体可以包括一个权重参数或至少两个权重参数；在所述权重参数主体包括至少两个权重参数时，所述确定各个权重参数主体的权重的距零值变化幅度，可以包括：将权重参数主体中包括的至少两个权重参数的权重的距零值变化幅度求和，将求和值作为所述权重参数主体的距零值变化幅度；则所述确定各个权重参数主体迭代后的权重值的绝对值，可以包括：将权重参数主体中包括的至少两个权重参数迭代后的权重值的绝对值求和，将求和值作为所述权重参数主体的权重值的绝对值。

对于前述的各方法实施例，为了简单描述，故将其都表述为一系列的动作组合，但是本领域技术人员应该知悉，本申请并不受所描述的动作顺序的限制，因为依据本申请，某些步骤可以采用其他顺序或者同时进行。其次，本领域技术人员也应该知悉，说明书中所描述的实施例均属于优选实施例，所涉及的动作和模块并不一定是本申请所必须的。

上述本申请公开的实施例中详细描述了方法，对于本申请的方法可采用多种形式的装置实现，因此本申请还公开了一种装置，下面给出具体的实施例进行详细说明。

图5为本申请实施例公开的一种数据处理装置的结构示意图，参见图5所示，数据处理装置50可以包括：

距零值确定模块501，用于在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值。

本实施例中，针对多个权重参数主体中的每一个权重参数主体都会进行相应的判断分析，以保证对模型裁剪的准确度。其中，所述多个权重参数主体可以是整个模型中的所有参数主体，也可以为整个模型中的部分参数主体。因为模型中的一些权重参数主体，即使在不经过迭代训练的情况下，也能够根据模型类型及功能确定其对模型网络具有实际贡献意义，这种情况下，可以将其直接排除在待压缩参数主体集合(上述多个权重参数主体)外。

针对多个权重参数主体中的每一个权重参数主体，首先需要确定其在多次迭代过程中的第一距零值和第二距零值。由于迭代步长越小，相应权重参数的变化值越小，因此，为了更好的了解权重变化情况，所述第一距零值和所述第二距零值之间相差的迭代次数不宜过少。

权重值设置模块502，用于在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

参数主体的所述第一距零值和所述第二距零值是在不同时间出现的，根据其先后出现关系，以及所述第一距零值到第二距零值的变化情况，可以确定所述参数主体的权重值的变化趋势，基于其变化趋势及具体数值可以确定所述参数主体在模型网络中的重要程度，若其重要性较低，可以在满足精度要求的前提下，将其裁减掉，以简化模型网络。

例如，在一个示意性的示例中，所述第一距零值早于所述第二距零值出现，则所述权重值设置模块502具体用于：在所述第二距零值小于所述第一距零值，且所述第二距零值的绝对值小于第一阈值的情况下，将所述权重参数主体的权重值设为零。在所述第二距零值小于所述第一距零值时，说明随着迭代过程的进行，所述参数主体的权重值在向0收敛，这种情况下，若第二距零值的绝对值已经小于一个比较小的数值(第一阈值)，则说明随着迭代过程的进行，所述参数主体的权重值会向0无限趋近，所述参数主体对模型网络的贡献度越来越小，这种情况下，可以直接将所述权重参数主体的权重值设为零，即将所述参数主体从模型网络中裁减掉。

本实施例中，所述数据处理装置，在模型训练过程中，能够依据权重在迭代过程中的至少两个距零值确定对应的权重参数的重要性，直接对不满足预设要求的权重参数进行裁剪，实现过程中不需要再对人工智能模型进行次数巨大的迭代，因而节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

在上述本申请公开的实施例的基础上，图6为本发明实施例公开的另一种数据处理装置的结构示意图，如图6所示，数据处理装置60可以包括：

距零值确定模块501，用于在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值。

变化幅度确定模块601，用于依据所述第一距零值和所述第二距零值，确定每一个权重参数主体的权重的距零值变化幅度。

所述变化幅度确定模块601具体可用于：确定每一个权重参数主体迭代前和迭代后的权重的距零值变化幅度。其中，权重迭代前的数值可以是所述第一距零值，权重迭代后的数值可以为所述第二距零值。所述确定各个权重参数主体迭代前和迭代后的权重的距零值变化幅度，可以包括：设置固定的迭代步伐，确定迭代后与迭代前权重参数主体的权重的距零值变化幅度；或，设置固定的迭代步伐，确定权重参数主体迭代后的权重值与其初始权重值之间的距零值变化幅度；或，确定模型经过迭代满足精度要求后，权重参数主体的权重值与其初始权重值之间的距零值变化幅度。

重要性确定模块602，用于依据所述距零值变化幅度确定每一个权重参数主体的重要性数值。

理论上，由于各个参数主体的初始权重值都是随机配置的，大小差不多，因此，迭代后当权重的距零值变化幅度越大，则说明该权重对应的参数主体在模型网络中的重要性越高，其对应的重要性数值越大。

权重值设置模块502，用于将重要性数值不满足第一条件的权重参数主体的权重值设为零。

由于重要性数值可以为一个量化的数值，因此，所述权重值设置模块502具体可用于：将重要性数值小于第二阈值的权重参数主体的权重值设为零；或，将重要性数值由大到小的队列中，末尾的第一比例的权重参数主体的权重值设为零。

本实施例中，将权重的距零值变化幅度作为判断参数主体的重要性的主要指标，而不直接以距零值的大小作为评判标准，整体方案更客观，判断出各个参数主体的重要性数值后，直接对不满足预设要求的权重参数进行裁剪，不需要再对人工智能模型进行次数巨大的迭代，节省了模型训练时间；且过程中模型压缩率可控，能够得到最精简的人工智能模型。

图7为本申请实施例公开的又一种数据处理装置的结构示意图，如图7所示，数据处理装置70可以包括：

距零值确定模块501，用于在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值。

变化幅度确定模块601，用于依据所述第一距零值和所述第二距零值，确定每一个权重参数主体的权重的距零值变化幅度。

绝对值确定模块701，用于确定每一个权重参数主体迭代后的权重值的绝对值。

本实施例中，将权重参数主体迭代后的权重值的绝对值也作为判断参数主体重要性的指标之一。

重要性确定模块602，用于依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值。

将距零值变化幅度和权重值输入所述第一算法，将计算输出主体参数的重要性数值。将距零值变化幅度和权重值输入所述第一算法，将计算输出主体参数的重要性数值。

权重值设置模块502，用于将重要性数值不满足第一条件的权重参数主体的权重值设为零。

本实施例中，根据训练过程中参数主体的权重的距零值变化幅度大小以及权重绝对值大小联合考虑，作为判决该参数主题重要性的依据，判断依据更加全面，判断结果更加准确可靠。

上述实施例中，所述重要性确定模块602的具体结构可以参见图8，图8为本申请实施例公开的重要性确定模块的结构示意图，如图8所示，重要性确定模块602可以包括：

变化幅度比例确定模块801，用于针对每一个权重参数主体，确定其距零值变化幅度与最小的变化幅度的第一差值；确定所有权重的距零值变化幅度跨度；基于所述第一差值与所述距零值变化幅度跨度的比值确定变化幅度比例。

绝对值比例确定模块802，用于针对每一个权重参数主体，确定其权重绝对值与最小权重绝对值的第二差值；确定所有权重的权重绝对值跨度；基于所述第二差值与所述权重绝对值跨度的比值确定绝对值比例。

重要性计算模块803，用于针对每一个权重参数主体，设变化幅度比例的权重为第一权重，绝对值比例的权重为第二权重，所述第一权重和所述第二权重的和为1，将加权变化幅度比例和加权绝对值比例求和得到权重参数主体的重要性数值。

在模型初始训练场景下，将所述第一权重设置为1，第二权重设置为0；在模型微调场景下，所述第一权重和所述第二权重均不为0。

此外，所述权重参数主体可以包括一个权重参数或至少两个权重参数；在所述权重参数主体包括至少两个权重参数时，所述变化幅度确定模块601具体可用于：将权重参数主体中包括的至少两个权重参数的权重的距零值变化幅度求和，将求和值作为所述权重参数主体的距零值变化幅度；则所述绝对值确定模块701具体可用于：将权重参数主体中包括的至少两个权重参数迭代后的权重值的绝对值求和，将求和值作为所述权重参数主体的权重值的绝对值。

本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的装置而言，由于其与实施例公开的方法相对应，所以描述的比较简单，相关之处参见方法部分说明即可。

还需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

结合本文中所公开的实施例描述的方法或算法的步骤可以直接用硬件、处理器执行的软件模块，或者二者的结合来实施。软件模块可以置于随机存储器(RAM)、内存、只读存储器(ROM)、电可编程ROM、电可擦除可编程ROM、寄存器、硬盘、可移动磁盘、CD-ROM、或技术领域内所公知的任意其它形式的存储介质中。

对所公开的实施例的上述说明，使本领域专业技术人员能够实现或使用本申请。对这些实施例的多种修改对本领域的专业技术人员来说将是显而易见的，本文中所定义的一般原理可以在不脱离本申请的精神或范围的情况下，在其它实施例中实现。因此，本申请将不会被限制于本文所示的这些实施例，而是要符合与本文所公开的原理和新颖特点相一致的最宽的范围。

Claims (10)

1.一种数据处理方法，包括：

在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：

至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值；

在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

2.根据权利要求1所述的数据处理方法，所述第一距零值早于所述第二距零值出现，则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，包括：

在所述第二距零值小于所述第一距零值，且所述第二距零值的绝对值小于第一阈值的情况下，将所述权重参数主体的权重值设为零。

3.根据权利要求1所述数据处理方法，还包括：

依据所述第一距零值和所述第二距零值，确定每一个权重参数主体的权重的距零值变化幅度；

依据所述距零值变化幅度确定每一个权重参数主体的重要性数值；

则所述在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零，包括：

将重要性数值不满足第一条件的权重参数主体的权重值设为零。

4.根据权利要求3所述的数据处理方法，所述确定每一个权重参数主体的权重的距零值变化幅度，包括：

确定每一个权重参数主体迭代前和迭代后的权重的距零值变化幅度；

所述确定各个权重参数主体迭代前和迭代后的权重的距零值变化幅度，包括：

设置固定的迭代步伐，确定迭代后与迭代前权重参数主体的权重的距零值变化幅度；

或，

设置固定的迭代步伐，确定权重参数主体迭代后的权重值与其初始权重值之间的距零值变化幅度；

或，

确定模型经过迭代满足精度要求后，权重参数主体的权重值与其初始权重值之间的距零值变化幅度。

5.根据权利要求3所述的数据处理方法，所述将重要性数值不满足第一条件的权重参数主体的权重值设为零，包括：

将重要性数值小于第二阈值的权重参数主体的权重值设为零；

或，

将重要性数值由大到小的队列中，末尾的第一比例的权重参数主体的权重值设为零。

6.根据权利要求4所述的数据处理方法，还包括：

确定每一个权重参数主体迭代后的权重值的绝对值；

则所述依据所述距零值变化幅度确定各个权重参数主体的重要性数值，包括：

依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值。

7.根据权利要求6所述的数据处理方法，所述依据各个权重参数主体的所述距零值变化幅度、所述权重值的绝对值以及第一算法确定各个权重参数的重要性数值，包括：

针对每一个权重参数主体，确定其距零值变化幅度与最小的变化幅度的第一差值；确定所有权重的距零值变化幅度跨度；基于所述第一差值与所述距零值变化幅度跨度的比值确定变化幅度比例；

针对每一个权重参数主体，确定其权重绝对值与最小权重绝对值的第二差值；确定所有权重的权重绝对值跨度；基于所述第二差值与所述权重绝对值跨度的比值确定绝对值比例；

针对每一个权重参数主体，设变化幅度比例的权重为第一权重，绝对值比例的权重为第二权重，所述第一权重和所述第二权重的和为1，将加权变化幅度比例和加权绝对值比例求和得到权重参数主体的重要性数值。

8.根据权利要求7所述的数据处理方法，在模型训练场景下，将所述第一权重设置为1，第二权重设置为0；在模型微调场景下，所述第一权重和所述第二权重均不为0。

9.根据权利要求6所述的数据处理方法，所述权重参数主体包括一个权重参数或至少两个权重参数；在所述权重参数主体包括至少两个权重参数时，所述确定各个权重参数主体的权重的距零值变化幅度，包括：

将权重参数主体中包括的至少两个权重参数的权重的距零值变化幅度求和，将求和值作为所述权重参数主体的距零值变化幅度；

则所述确定各个权重参数主体迭代后的权重值的绝对值，包括：

将权重参数主体中包括的至少两个权重参数迭代后的权重值的绝对值求和，将求和值作为所述权重参数主体的权重值的绝对值。

10.一种数据处理装置，包括：

距零值确定模块，用于在模型训练过程中，针对多个权重参数主体中的每一个权重参数主体：至少确定权重参数主体的权重在多次迭代过程中的第一距零值和第二距零值；

权重值设置模块，用于在所述第一距零值和所述第二距零值满足预设条件时，将所述权重参数主体的权重值设为零。

Images