CN112990443B - 神经网络评价方法及装置、电子设备、存储介质 - Google Patents

Abstract

本发明提供了一种神经网络评价方法及装置、电子设备、存储介质，所述方法包括：采集每一用户的第一应用场景下的多个特征数据；对多个特征数据进行过滤，对过滤后的特征数据进行一位有效编码处理；将一位有效编码的特征数据进行embedding向量化处理，转换为相应维度的特征向量；将特征向量输入到DNN中，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果；对特征向量进行MixUp处理，扩增到设定倍数，得到扩增特征向量；将扩增特征向量输入到参数更新的DNN中，通过反向传播的训练方式再次梯度更新DNN各节点的参数，对每一用户进行评分排名。本发明能够对用户进行更客观的评价。

Description

神经网络评价方法及装置、电子设备、存储介质

技术领域

本发明涉及用户在某领域的特定行为评价技术，尤其涉及一种神经网络评价方法及装置、电子设备、存储介质。

背景技术

近年来随着对人工智能（AI，Artificial Intelligence）等领域探索的不断加深，无论是互联网行业、传统行业、还是金融行业，都在不断寻找行之有效的模型与方法，更加深入有效的挖掘数据价值，获取最大收益与回报。以信贷场景的应用为例，目前使用的信贷准入模型主要是评分卡模型，根据用户在申请信贷时填入的个人信息，基于逻辑回归（LR，Logistic Regression）模型，通过拟合模型特征的重要性关系，删除部分特征，其余特征与对应评价分数相乘从而最终得到整体的综合得分。不同的申请人具有相应的评分，利用用户的评分对申请人的违约风险进行评估。LR模型虽然具有较佳的鲁棒性与可解释性，但局限性也十分明显：只关注于变量自身的特点，而未考虑到特征间的关系，不可避免的造成信息损失。

机器学习模型的训练，需要大量的标签数据才能发挥机器学习模型的效果，而金融领域由于数据资产管理水平不足、信息采集不规范、行业标准缺失等一系列制约因素，直接可用于模型的结构化数据量非常小，而如何通过现存小规模数据得到较为准确的模型则是近年来领域内迫切需要解决的问题。

发明内容

本发明提供一种神经网络评价方法及装置、电子设备、存储介质，以至少解决现有技术中存在的以上技术问题。

本发明一方面提供一种神经网络评价方法，所述方法包括：

采集每一用户的第一应用场景下的多个特征数据；

对所述每一用户的多个特征数据进行过滤，对过滤后的特征数据，基于每一用户进行一位有效编码处理；

将一位有效编码的特征数据进行嵌入embedding向量化处理，将一位有效编码的特征数据转换为相应维度的特征向量；

将所述特征向量输入到深度神经网络DNN中，通过反向传播的训练方式，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果；

对所述特征向量进行混类增强MixUp处理，使所述特征向量扩增到设定倍数，得到扩增特征向量；

将所述扩增特征向量输入到参数更新的DNN中，通过反向传播的训练方式再次梯度更新DNN各节点的参数，以对预测的每一用户的第一应用场景下的评价结果进行调整，以调整后的评价结果对每一用户进行评分排名。

可选地，所述对所述每一用户的多个特征数据进行过滤，包括：

至少识别所述多个特征数据中的无效数据以及用户的特征数据缺失超出设定数量的缺失数据，删除所述无效数据和所述缺失数据；

对剩余的存在空值的特征数据进行特征值填充，将数值型特征数据进行归一化处理。

可选地，所述对所述特征向量进行混类增强MixUp处理，包括：

若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

可选地，在对所述特征向量进行MixUp处理之前，所述方法还包括：

将所述特征向量中的标签的顺序打乱。

可选地，所述α、β均取值为0.5。

本发明另一方面提供一种神经网络评价装置，所述装置包括：

采集单元，用于采集每一用户的第一应用场景下的多个特征数据；

编码处理单元，用于对所述每一用户的多个特征数据进行过滤，对过滤后的特征数据，基于每一用户进行一位有效编码处理；

向量化处理单元，用于将一位有效编码的特征数据进行嵌入embedding向量化处理，将一位有效编码的特征数据转换为相应维度的特征向量；

DNN处理单元，用于将输入的所述特征向量，通过反向传播的训练方式，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果；

混类增强单元，用于对所述特征向量进行MixUp处理，使所述特征向量扩增到设定倍数，得到扩增特征向量；

所述DNN处理单元，还用于将输入的所述扩增特征向量，基于更新后的参数、通过反向传播的训练方式再次梯度更新DNN各节点的参数，以对预测的每一用户的第一应用场景下的评价结果进行调整；

评价单元，用于以调整后的评价结果对每一用户进行评分排名。

可选地，所述编码处理单元，还用于：

至少识别所述多个特征数据中的无效数据以及用户的特征数据缺失超出设定数量的缺失数据，删除所述无效数据和所述缺失数据；

对剩余的存在空值的特征数据进行特征值填充，将数值型特征数据进行归一化处理。

可选地，所述向量化处理单元，还用于：

若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

可选地，所述装置还包括：

扰序单元，用于在所述向量化处理单元对所述特征向量进行MixUp处理之前，将所述特征向量中的标签的顺序打乱。

可选地，所述α、β均取值为0.5。

本发明另一方面提供一种电子设备，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现所述基于数据扩增的神经网络评价方法的步骤。

本发明再一方面提供一种计算机可读存储介质，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现所述基于数据扩增的神经网络评价方法的步骤。

本发明通过采集用户在第一应用场景下的相应特征数据，基于用户的特征数据进行嵌入（embedding）向量化处理，并基于向量化处理后的特征数据导入到DNN进行训练，并预测用户在第一应用场景下的评价结果；并对向量化处理后的特征向量进行扩充，再次对DNN的相关参数进行更新，使对用户的评价更准确。本发明通过用户在某应用场景下的有限的特征数据，实现对用户在第一应用场景下的评分描述，利用有限的特征数据实现对用户在第一应用场景下的客观描述，并能得出差异化的用户评价，能准确反映用户在第一应用场景下的信用等评分情况，从而能基于有限数据得到用户更客观的评价。

附图说明

图1示出了本发明实施例的基于数据扩增的神经网络评价方法的流程图；

图2示出了本发明实施例的深度扩增神经网络评价模型结构示意图；

图3示出了本发明实施例的扩增神经网络模块的数据处理示意图；

图4示出了本发明实施例的特征数据embedding向量化处理示意图；

图5示出了本发明实施例的基于数据扩增的神经网络评价装置的组成结构示意图；

图6示出了本发明实施例的电子设备的结构图。

具体实施方式

为使本发明的目的、特征、优点能够更加的明显和易懂，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而非全部实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

图1示出了本发明实施例的基于数据扩增的神经网络评价方法的流程图，如图1所示，本发明实施例的基于数据扩增的神经网络评价方法包括以下处理步骤：

步骤101，采集每一用户的第一应用场景下的多个特征数据。

本发明实施例中，第一应用场景包括信贷场景下的信用评价等。特征数据包括用户的职业、职务、职业经历、收入、年龄、工龄、社保缴纳情况、违约行为等等。当用户进行信贷等，需要对用户个人的信用行为进行评价，以确定用户是否符合信贷条件，以及符合什么阶层的信贷条件等。此时，需要对用户的上述特征数据进行采集，以便对用户的信用等级等进行客观评价。

需要说明的是，本发明实施例仅以用户的信贷场景中的信用评价为例进行的说明，本发明实施例的技术方案可以适用于其他各种应用场景，如用户对饮食的偏好，基于对用户的调查结果进行用户行为的刻画等应用领域。本发明实施例适用于有限数据对用户行为或特征的刻画，能通过有限的数据对所需的结果作出客观准确的评价。

步骤102，对所述每一用户的多个特征数据进行过滤，对过滤后的特征数据，基于每一用户进行一位有效编码处理。

本发明实施例中，当采集到不同用户的特征数据后，还需要对所采集的特征数据进行过滤处理，以剔除不符合要求的特征数据，如采集到的错误特征数据，或采集到的特征数据不全，不足以对用户的信用行为进行评价，因此，需要对不符合评价标准的采集数据进行过滤。具体地，至少识别所述多个特征数据中的无效数据以及用户的特征数据缺失超出设定数量的缺失数据，删除所述无效数据和所述缺失数据；对剩余的存在空值的特征数据进行特征值填充，将数值型特征数据进行归一化处理。

对于所采集到的用户的离散特征数据，本发明实施例是将离散特征数据转换为one-hot，例如对于采集特征数据为50的应用场景，如果采集到某特征数据，则该位置为1，否则为0。

步骤103，将一位有效编码的特征数据进行embedding向量化处理，将一位有效编码的特征数据转换为相应维度的特征向量。

(X1,Y1)(X2,Y2)...(Xn,Yn)分别代表信贷场景数据中采集到的n条以用户为主键的特征信息。其中X1=(f₁,f₂,f₃,...，f_m)代表某用户的m个特征数据，将各个特征数据按数值型特征和类别型特征分类后输入embedding向量化模型进行向量化处理，embedding向量化模型本质上是一个参数量庞大的权重矩阵，也被称为向量字典表，其维度为[q,p]，q为输入特征数据集中所有特征不重复值的总和，p为自定义embedding向量化模型的维度，特征数据经过embedding向量化层后，有m*1维特征值转化为m*p维的特征向量。

本发明实施例中，embedding向量化模型可以采用embedding向量化算法进行建模而生成，如可以采用Word2Vec算法等。

步骤104，将所述特征向量输入到深度神经网络DNN中，通过反向传播的训练方式，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果。

本发明实施例中，对于经过embedding向量化处理后的特征向量，直接输入深度神经网络（DNN，Deep Neural Networks），通过反向传播的训练方式梯度更新embedding向量化模型的相关参数以及DNN的相关参数。使得数据embedding后生成的向量更能准确表征输入的特征向量值，同时也使参数更新后的DNN对用户的评分预测更加准确。

步骤105，对所述特征向量进行混类增强（MixUp）处理，使所述特征向量扩增到设定倍数，得到扩增特征向量。

本发明实施例中，对所述特征向量进行混类增强MixUp处理，包括：若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

本发明实施例中，在对所述特征向量进行MixUp处理之前，所述方法还包括：将所述特征向量中的标签的顺序打乱。

本发明实施例中，可在符合Beta (α，β)分布的数据中进行采样，α、β过大将导致评价结果的欠拟合，α、β的取值可以为大于0的实数。本发明实施例中，为了保证特征向量的MixUp处理效果，α、β均取值为0.5。

步骤106，将所述扩增特征向量输入到参数更新的DNN中，通过反向传播的训练方式再次梯度更新DNN各节点的参数，以对预测的每一用户的第一应用场景下的评价结果进行调整，以调整后的评价结果对每一用户进行评分排名。

本发明实施例中，在对用户的特征数据进行embedding向量化处理后，将经embedding处理后的特征向量经过MixUp算法将特征向量扩增到原来的设定倍数，经扩增的特征向量再输入到DNN中，对DNN网络的参数进行微调，从而进一步提升扩增神经网络整体的评分预测准确性。

基于LR的评分卡模型取代了人工审核方式，而被信贷领域广泛使用。随着用户数据维度的增加，评分并不局限于变量自身的特点规律，更需要关注特征间的相互关系，且现阶段存在数据中逾期用户数量相对正常用户比例过少的问题。并且，在现有异常用户数量总数较少且识别率仍有提升空间的条件下，本发明实施例创新性地提出的深度扩增神经网络评价模型，主要是将特征数据经过向量化处理后，利用神经网络的优势，训练网络自动拟合不同特征间的交互参数；且在面对正负样本数据不足情况下，在网络训练中期，利用MixUp数据增强算法，对用户的特征数据的向量进行大规模扩增，从而使接下来的模型训练更加充分，而得到更为优异的用户评价效果。

本发明实施例既保证了用户的原始特征数据embedding向量化处理后的准确性，又能在特征向量数据扩增后，对已经训练的DNN再次进行网络微调，从而使得到评价效果更加精确。

以下通过具体示例，进一步阐明本发明实施例的技术方案的实质。

图2示出了本发明实施例的深度扩增神经网络评价模型结构示意图，如图2所示，本发明实施例中，示出了本发明实施例的扩增神经网络评价模型，图2中的虚线框中的深度扩增神经网络为本发明实施例中基于用户特征数据进行用户评价的主要数据处理结构。

如图2所示，图2中最上层输入为信贷场景的用户特征数据，通过数据过滤将特征数据中的无效数据与缺失值较多特征数据列进行删除，并对剩余的存在空值的特征数据列进行数值填充，对于数值型数据进行归一化处理。对于其中的类别型特征数据，则不作处理。经过特征数据过滤处理后，将过滤处理后数据输入深度扩增神经网络层中。

深度扩增网络模型主要分为embedding向量化模块，数据扩增模块和深度神经网络（DNN）模块，embedding向量化模块的作用是将结构化数据进行向量化。无论特征数据为数值型或类别型，embedding向量化处理之后，特征数据中的每个特征维度将保持一致。数据扩增模块则是以MixUp算法为基础，对向量化数据进行扩增。

本发明实施例中，深度神经网络主要有以下两个作用：

通过对初始数据进行embedding向量化层处理后输入至DNN进行网络模型训练，考验优化embedding向量化层的参数矩阵，使得映射向量可以更好地表征输入的结构化数据。

通过对embedding向量化层处理后的特征向量进行扩增，并输入至DNN进行网络训练，经过多轮训练后，考验得到最优的评分结构输出，使本发明实施例的深度扩增网络模型更具适用性。

图3示出了本发明实施例的扩增神经网络模块的数据处理示意图，如图3所示，输入的特征数据(X1,Y1)(X2,Y2)...(Xn,Yn)分别代表信贷场景数据中n条以用户为主键的特征数据。其中X1=(f₁,f₂,f₃,...，f_m)代表该用户的m个特征，将各个特征按数值型特征和类别型特征分类后输入embedding向量化层，embedding向量化层本质上是一个参数量庞大的权重矩阵，也被称为向量字典表，其维度为[q,p]，q为输入数据集中所有特征不重复值的总和，p为自定义embedding维度，特征数据经过embedding向量化层后，有m*1维特征值转化为m*p维的特征向量。图4示出了本发明实施例的特征数据embedding向量化处理示意图，m*1维特征值转化为m*p维的特征向量可参见图4所示。

(X1,Y1)(X2,Y2)...(Xn,Yn) 数据embedding向量化后转化为向量化数据(Z1,Y1)(Z2,Y2)...(Zn,Yn)，先后经过以下两个阶段的操作：

阶段一为向量化数据直接输入深度神经网络 (DNN)模块，通过反向传播的训练方式梯度更新embedding向量化模块与DNN模块的参数。使得特征数据embedding处理后生成的向量更能准确表征输入特征值，同时也使参数更新后的DNN的预测更加准确。

阶段二则在阶段一训练完成后，将embedding层的输出的特征向量经过MixUp算法将原始数据扩增到原来的设定倍数，再输入到DNN中，对网络进行微调，从而进一步提升扩增神经网络整体的预测准确性。如图3所示，经过MixUp算法将原始特征数据扩增到原来的r倍。

本发明实施例中，对所述特征向量进行混类增强MixUp处理，包括：若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

其中(batch_xi, batch_yi),(batch_xj, batch_yj)均为训练中同一个batch中的不同数据。每次MixUp前，该batch中的样本ID先顺序打乱（shuffle）处理，然后再进行加权求和。λ∈[0,1]，可在符合Beta (α，β)分布的数据中进行采样，由于α、β过大将导致结果的欠拟合，本发明实施例中，α、β均取值为0.5。

本发明实施例经过前述两个阶段训练后的深度扩增神经网络，具备优秀的预测能力，当输入相应的测试数据如信贷相关的特征数据后，经过本发明的深度扩增神经网络模型能够输出评价效果更加精确的评价结果。

图5示出了本发明实施例的基于数据扩增的神经网络评价装置的组成结构示意图，如图5所示，本发明实施例的基于数据扩增的神经网络评价装置包括：

采集单元50，用于采集每一用户的第一应用场景下的多个特征数据；

编码处理单元51，用于对所述每一用户的多个特征数据进行过滤，对过滤后的特征数据，基于每一用户进行一位有效编码处理；

向量化处理单元52，用于将一位有效编码的特征数据进行嵌入embedding向量化处理，将一位有效编码的特征数据转换为相应维度的特征向量；

DNN处理单元53，用于将输入的所述特征向量，通过反向传播的训练方式，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果；

混类增强单元54，用于对所述特征向量进行MixUp处理，使所述特征向量扩增到设定倍数，得到扩增特征向量；

所述DNN处理单元53，还用于将输入的所述扩增特征向量，基于更新后的参数、通过反向传播的训练方式再次梯度更新DNN各节点的参数，以对预测的每一用户的第一应用场景下的评价结果进行调整；

评价单元55，用于以调整后的评价结果对每一用户进行评分排名。

作为一种实现方式，所述编码处理单元51，还用于：

至少识别所述多个特征数据中的无效数据以及用户的特征数据缺失超出设定数量的缺失数据，删除所述无效数据和所述缺失数据；

对剩余的存在空值的特征数据进行特征值填充，将数值型特征数据进行归一化处理。

作为一种实现方式，所述向量化处理单元52，还用于：

若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

作为一种实现方式，在图5所示的基于数据扩增的神经网络评价装置的基础上，本发明实施例的基于数据扩增的神经网络评价装置还包括：

扰序单元（图5中未示出），用于在所述向量化处理单元52对所述特征向量进行MixUp处理之前，将所述特征向量中的标签的顺序打乱。

作为一种实现方式，所述α、β均取值为0.5。

在示例性实施例中，采集单元50、编码处理单元51、向量化处理单元52、DNN处理单元53、混类增强单元54、评价单元55、扰序单元等可以被一个或多个中央处理器（CPU，Central Processing Unit）、图形处理器（GPU，Graphics Processing Unit）、基带处理器（BP，Base Processor）、应用专用集成电路（ASIC，Application Specific IntegratedCircuit）、数字信号处理器（Digital Signal Processor，DSP）、可编程逻辑器件（PLD，Programmable Logic Device）、复杂可编程逻辑器件（CPLD，Complex Programmable LogicDevice）、现场可编程门阵列（FPGA，Field-Programmable Gate Array）、通用处理器、控制器、微控制器（MCU，Micro Controller Unit）、微处理器（Microprocessor）、或其他电子元件实现，用于执行前述实施例的基于数据扩增的神经网络评价方法的步骤。

在本公开实施例中，图5示出的基于数据扩增的神经网络评价装置中各个单元执行操作的具体方式已经在有关该方法的实施例中进行了详细描述，此处将不做详细阐述说明。

下面，参考图6来描述根据本申请实施例的电子设备11。

如图6所示，电子设备11包括一个或多个处理器111和存储器112。

处理器111可以是中央处理单元（CPU）或者具有数据处理能力和/或指令执行能力的其他形式的处理单元，并且可以控制电子设备11中的其他组件以执行期望的功能。

存储器112可以包括一个或多个计算机程序产品，所述计算机程序产品可以包括各种形式的计算机可读存储介质，例如易失性存储器和/或非易失性存储器。所述易失性存储器例如可以包括随机存取存储器（RAM）和/或高速缓冲存储器（cache）等。所述非易失性存储器例如可以包括只读存储器（ROM）、硬盘、闪存等。在所述计算机可读存储介质上可以存储一个或多个计算机程序指令，处理器111可以运行所述程序指令，以实现上文所述的本申请的各个实施例的验证方法以及/或者其他期望的功能。在所述计算机可读存储介质中还可以存储诸如输入信号、信号分量、噪声分量等各种内容。

在一个示例中，电子设备11还可以包括：输入装置113和输出装置114，这些组件通过总线系统和/或其他形式的连接机构（未示出）互连。

该输入装置113可以包括例如键盘、鼠标等等。

该输出装置114可以向外部输出各种信息，包括确定出的距离信息、方向信息等。该输出装置114可以包括例如显示器、扬声器、打印机、以及通信网络及其所连接的远程输出设备等等。

当然，为了简化，图5中仅示出了该电子设备11中与本申请有关的组件中的一些，省略了诸如总线、输入/输出接口等等的组件。除此之外，根据具体应用情况，电子设备11还可以包括任何其他适当的组件。

除了上述方法和设备以外，本申请的实施例还可以是计算机程序产品，其包括计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。

所述计算机程序产品可以以一种或多种程序设计语言的任意组合来编写用于执行本申请实施例操作的程序代码，所述程序设计语言包括面向对象的程序设计语言，诸如Java、C++等，还包括常规的过程式程序设计语言，诸如“C”语言或类似的程序设计语言。程序代码可以完全地在用户计算设备上执行、部分地在用户设备上执行、作为一个独立的软件包执行、部分在用户计算设备上部分在远程计算设备上执行、或者完全在远程计算设备或服务器上执行。

此外，本申请的实施例还可以是计算机可读存储介质，其上存储有计算机程序指令，所述计算机程序指令在被处理器运行时使得所述处理器执行本说明书上述“示例性方法”部分中描述的根据本申请各种实施例的方法中的步骤。

所述计算机可读存储介质可以采用一个或多个可读介质的任意组合。可读介质可以是可读信号介质或者可读存储介质。可读存储介质例如可以包括但不限于电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。可读存储介质的更具体的例子（非穷举的列表）包括：具有一个或多个导线的电连接、便携式盘、硬盘、随机存取存储器（RAM）、只读存储器（ROM）、可擦式可编程只读存储器（EPROM或闪存）、光纤、便携式紧凑盘只读存储器（CD-ROM）、光存储器件、磁存储器件、或者上述的任意合适的组合。

以上结合具体实施例描述了本申请的基本原理，但是，需要指出的是，在本申请中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本申请的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本申请为必须采用上述具体的细节来实现。

本申请中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“如但不限于”，且可与其互换使用。

还需要指出的是，在本申请的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本申请的等效方案。

提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本申请。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本申请的范围。因此，本申请不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。

为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本申请的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

Claims (12)

1.一种神经网络评价方法，其特征在于，所述方法包括：

采集每一用户的第一应用场景下的多个特征数据；

对所述每一用户的多个特征数据进行过滤，对过滤后的特征数据，基于每一用户进行一位有效编码处理；

将一位有效编码的特征数据进行嵌入embedding向量化处理，将一位有效编码的特征数据转换为相应维度的特征向量；

将所述特征向量输入到深度神经网络DNN中，通过反向传播的训练方式，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果；

对所述特征向量进行混类增强MixUp处理，使所述特征向量扩增到设定倍数，得到扩增特征向量；

将所述扩增特征向量输入到参数更新的DNN中，通过反向传播的训练方式再次梯度更新DNN各节点的参数，以对预测的每一用户的第一应用场景下的评价结果进行调整，以调整后的评价结果对每一用户进行评分排名。

2.根据权利要求1所述的方法，其特征在于，所述对所述每一用户的多个特征数据进行过滤，包括：

至少识别所述多个特征数据中的无效数据以及用户的特征数据缺失超出设定数量的缺失数据，删除所述无效数据和所述缺失数据；

对剩余的存在空值的特征数据进行特征值填充，将数值型特征数据进行归一化处理。

3.根据权利要求1或2所述的方法，其特征在于，所述对所述特征向量进行混类增强MixUp处理，包括：

若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

4.根据权利要求3所述的方法，其特征在于，在对所述特征向量进行MixUp处理之前，所述方法还包括：

将所述特征向量中的标签的顺序打乱。

5.根据权利要求3所述的方法，其特征在于，所述α、β均取值为0.5。

6.一种神经网络评价装置，其特征在于，所述装置包括：

采集单元，用于采集每一用户的第一应用场景下的多个特征数据；

编码处理单元，用于对所述每一用户的多个特征数据进行过滤，对过滤后的特征数据，基于每一用户进行一位有效编码处理；

向量化处理单元，用于将一位有效编码的特征数据进行嵌入embedding向量化处理，将一位有效编码的特征数据转换为相应维度的特征向量；

DNN处理单元，用于将输入的所述特征向量，通过反向传播的训练方式，梯度更新DNN中各节点的参数，并预测得到每一用户的第一应用场景下的评价结果；

混类增强单元，用于对所述特征向量进行MixUp处理，使所述特征向量扩增到设定倍数，得到扩增特征向量；

所述DNN处理单元，还用于将输入的所述扩增特征向量，基于更新后的参数、通过反向传播的训练方式再次梯度更新DNN各节点的参数，以对预测的每一用户的第一应用场景下的评价结果进行调整；

评价单元，用于以调整后的评价结果对每一用户进行评分排名。

7.根据权利要求6所述的装置，其特征在于，所述编码处理单元，还用于：

至少识别所述多个特征数据中的无效数据以及用户的特征数据缺失超出设定数量的缺失数据，删除所述无效数据和所述缺失数据；

对剩余的存在空值的特征数据进行特征值填充，将数值型特征数据进行归一化处理。

8.根据权利要求6或7所述的装置，其特征在于，所述向量化处理单元，还用于：

若batch_xi是所述特征向量中的第一数据，batch_yi是所述第一数据对应的标签；batch_xj是所述特征向量中的第二数据，batch_yj是所述第二数据对应的标签，λ是由参数为α、β的贝塔分布计算出来的混合系数，则通过下式对所述特征向量进行MixUp处理：

λ=Beta(α, β)；

mixed_batch_x=λ∗batch_xi+(1−λ)∗batch_xj；

mixed_batch_y=λ∗batch_yi+(1−λ)∗batch_yj；

其中，Beta()表示贝塔分布运算，λ∈[0,1]，mixed_batch_x表示混合后的特征向量中的第三数据，mixed_batch_y表示所述第三数据对应的标签。

9.根据权利要求8所述的装置，其特征在于，所述装置还包括：

扰序单元，用于在所述向量化处理单元对所述特征向量进行MixUp处理之前，将所述特征向量中的标签的顺序打乱。

10.根据权利要求8所述的装置，其特征在于，所述α、β均取值为0.5。

11.一种电子设备，其特征在于，包括处理器、通信接口、存储器和通信总线，其中，处理器，通信接口，存储器通过通信总线完成相互间的通信；存储器，用于存放计算机程序；处理器，用于执行存储器上所存放的程序时，实现权利要求1-5任一项所述的方法。

12.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质内存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1-5任一项所述的方法。

Images