CN112364919A - 数据处理方法、装置、设备及存储介质 - Google Patents

数据处理方法、装置、设备及存储介质 Download PDF

Info

Publication number
CN112364919A
CN112364919A CN202011255726.1A CN202011255726A CN112364919A CN 112364919 A CN112364919 A CN 112364919A CN 202011255726 A CN202011255726 A CN 202011255726A CN 112364919 A CN112364919 A CN 112364919A
Authority
CN
China
Prior art keywords
data
model
client terminal
model parameters
tested
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN202011255726.1A
Other languages
English (en)
Other versions
CN112364919B (zh
Inventor
黄安埠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
WeBank Co Ltd
Original Assignee
WeBank Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by WeBank Co Ltd filed Critical WeBank Co Ltd
Priority to CN202011255726.1A priority Critical patent/CN112364919B/zh
Publication of CN112364919A publication Critical patent/CN112364919A/zh
Application granted granted Critical
Publication of CN112364919B publication Critical patent/CN112364919B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Images

Classifications

    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/24Classification techniques
    • G06F18/241Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2411Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on the proximity to a decision surface, e.g. support vector machines
    • GPHYSICS
    • G06COMPUTING; CALCULATING OR COUNTING
    • G06FELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00Pattern recognition
    • G06F18/20Analysing
    • G06F18/21Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214Generating training patterns; Bootstrap methods, e.g. bagging or boosting

Landscapes

  • Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Theoretical Computer Science (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Biology (AREA)
  • Evolutionary Computation (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Image Analysis (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)

Abstract

本发明公开了一种数据处理方法、装置、设备及存储介质,所述方法包括:获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数;针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量;根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量;根据所述隐向量确定所述待测试的数据对应的评估结果。本发明公开的数据处理方法、装置、设备及存储介质,通过自编码器融合多个模型提取的特征向量,从而得到更加全面、丰富的特征,有效提升评估结果的准确率。

Description

数据处理方法、装置、设备及存储介质
技术领域
本发明涉及人工智能技术领域,尤其涉及一种数据处理方法、装置、设备及存储介质。
背景技术
随着计算机技术和大数据处理技术的不断发展,机器学习在图像处理、自然语言处理、生物特征识别、搜索引擎、推荐算法等各个领域得到了广泛的应用。
机器学习可以融合大量数据的特征,通过训练样本在经验中学习,从而不断改善自身性能。学习得到的模型可以用于对数据进行评估,例如,可以通过用户的历史资产数据,评估用户的购买力,从而向用户推送相应的商品信息。目前,通过机器学习等方法获得的评估结果的准确率依然有较大的提升空间。
发明内容
本发明的主要目的在于提供一种数据处理方法、装置、设备及存储介质,旨在提高通过机器学习得到的评估结果的准确率。
为实现上述目的,本发明提供一种数据处理方法,所述数据处理方法包括:
获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数;
针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量;
根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量;
根据所述隐向量确定所述待测试的数据对应的评估结果。
在一种可能的实现方式中,所述方法还包括:
从各个客户终端抽取训练样本,组成测试数据集;其中,从每一客户终端抽取的训练样本的数量均在预设数量范围内;所述待测试的数据包括所述测试数据集;
相应的,根据所述隐向量确定所述待测试的数据对应的评估结果,包括:
根据所述测试数据集对应的隐向量,确定所述测试数据集对应的评估结果;
根据所述测试数据集对应的评估结果,确定各个客户终端对应的评估结果分布情况。
在一种可能的实现方式中,根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量,包括:
将通过各个模型参数得到的特征向量进行拼接;
将拼接后的特征向量作为所述自编码器的输入和输出,对所述自编码器进行训练,得到对应的隐向量;
其中,所述自编码器中隐向量的维度小于输入的特征向量的维度。
在一种可能的实现方式中,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量,包括:
将待测试的数据输入到所述模型参数对应的模型中,得到最后一层卷积层输出的特征向量。
在一种可能的实现方式中,在根据所述隐向量确定所述待测试的数据对应的评估结果之前,所述方法还包括:
对所述多个客户终端的模型参数进行聚合,得到更新后的全局模型;
判断所述更新后的全局模型是否收敛;
若所述全局模型处于收敛状态,则训练得到的隐向量为最终隐向量;
相应的,根据所述隐向量确定所述待测试的数据对应的评估结果,包括:
根据所述最终隐向量确定所述待测试的数据对应的评估结果。
在一种可能的实现方式中,所述方法还包括:
若所述全局模型处于未收敛状态,则重复执行如下步骤,直至全局模型收敛:
将所述全局模型的模型参数分别下发给所述多个客户终端,以从多个客户终端重新获取训练后的模型参数,并根据通过模型参数得到的特征向量继续训练所述自编码器,得到对应的隐向量。
在一种可能的实现方式中,所述待测试的数据为用户的资产数据,所述隐向量为所述资产数据对应的隐向量;
根据所述隐向量确定所述待测试的数据对应的评估结果,包括:
根据所述资产数据对应的隐向量,以及所述用户的购买记录和/或偏好信息,评估所述用户的购买力信息,以根据所述购买力信息向所述用户推送对应的商品信息。
本发明还提供一种数据处理装置,包括:
获取模块,用于获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数;
处理模块,用于针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量;
训练模块,用于根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量;
确定模块,用于根据所述隐向量确定所述待测试的数据对应的评估结果。
本发明还提供一种数据处理设备,所述数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如前述任一项所述的数据处理方法的步骤。
本发明还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如前述任一项所述的数据处理方法的步骤。
本发明提供的数据处理方法、装置、设备及存储介质,可以获取多个客户终端分别发送的模型参数,其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数,针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量,根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量,并根据所述隐向量确定所述待测试的数据对应的评估结果,由于自编码器得到的隐向量融合了多个模型提取的特征向量,因此包含更加全面、丰富的特征,有效提升评估结果的准确率。
附图说明
图1为本发明实施例提供的一种应用场景示意图;
图2为本发明实施例提供的一种数据处理方法的流程示意图;
图3为本发明实施例提供的一种数据处理方法的原理示意图;
图4为本发明实施例提供的另一种数据处理方法的原理示意图;
图5为本发明实施例提供的一种提取特征向量的原理示意图;
图6为本发明实施例提供的一种训练自编码器的原理示意图;
图7为本发明实施例提供的一种数据处理装置的结构示意图;
图8为本发明实施例提供的一种数据处理设备的结构示意图。
本发明目的的实现、功能特点及优点将结合实施例,参照附图做进一步说明。
具体实施方式
下面将参照附图更详细地描述本公开的示例性实施例。虽然附图中显示了本公开的示例性实施例,然而应当理解,可以以各种形式实现本公开而不应被这里阐述的实施例所限制。相反,提供这些实施例是为了能够更透彻地理解本公开,并且能够将本公开的范围完整的传达给本领域的技术人员。
图1为本发明实施例提供的一种应用场景示意图。如图1所示,服务器可以与n个客户终端通信连接,用于实现联邦学习。不同的客户终端拥有不同的训练样本,可以在保护隐私的基础上实现模型的共同训练。
在联邦学习过程中,服务器下发全局模型到每一个客户终端。然后,每一个客户终端利用本地训练样本对模型进行训练,得到局部模型,并将局部模型上传到服务器。服务器接收到每一个客户终端上传的局部模型后,对各个局部模型进行聚合,得到新的全局模型,并重新执行前述步骤,直至全局模型收敛。
由于不同的客户终端具有的本地训练数据不同,因此,不同的客户终端训练得到的模型的偏向性也不同。
举例来说,多个客户终端可以用于训练风险评估模型。客户终端1存储的样本数据大都为普通用户的数据,而客户终端2存储的样本数据大都为企业主等存款量较大的用户的数据。
在对模型的训练过程中,客户终端1可能更偏向于某些特征,例如,在训练过程中提取的特征大多关系到用户的存款数量、用户在近6个月是否有坏账,这些特征对最终的结果有较大的影响。而客户终端2可能更偏向于其它特征,例如,主要通过评估商业行为、转账行为等来确定风险预测结果。
由此可见,不同的客户终端上传的局部模型不同,对应提取的特征也不同。为了提高机器学习的准确率,本发明实施例中,可以引入上述的联邦学习中的多个局部模型,通过多个局部模型分别提取数据的特征向量,并通过自编码器融合多个特征向量的有效特征,作为机器学习的输入,从而得到最终的评估结果。
由于自编码器融合了多个局部模型分别提取的特征向量,因此能够提取数据中更加丰富的特征,从而有效提高最终评估结果的准确率。
图2为本发明实施例提供的一种数据处理方法的流程示意图。本实施例提供的方法的执行主体可以为服务器。如图2所示,所述方法可以包括:
步骤201、获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数。
其中,所述客户终端可以是任意参与数据处理的终端。每个客户终端可以设置有本地训练样本。在对模型进行训练的过程中,服务器将全局模型下发给每个客户终端,每个客户终端根据自身具有的本地训练样本对获取到的模型进行训练,得到训练后的模型并发送给服务器。
具体的,模型与模型参数具有对应关系,模型参数确定后,模型也相应确定。客户终端将模型发送给服务器,或者,服务器将模型发送给客户终端,均可以通过发送模型参数来实现。其中,所述模型参数可以是指用于确定模型的任意参数。
一个示例中,所述模型参数可以包括模型中的直接参数。以所述模型为神经网络模型为例,神经网络模型可以包括多个层如卷积层、归一化层、全连接层等,所述模型参数可以包括每一层对应的参数。
假设所述神经网络模型包括三个卷积层,每个卷积层对应设置有卷积矩阵,输入数据在卷积层与卷积矩阵进行运算,得到的输出数据再输入到下一层继续进行计算。在这种情况下,所述神经网络模型的模型参数可以包括这三个卷积层的参数,即三个卷积层分别对应的卷积矩阵。
另一示例中,所述模型参数可以包括用于确定模型中的直接参数的任意其它参数。例如,神经网络模型通过梯度下降算法进行训练,则所述客户终端和服务器之间交互的模型参数可以包括训练得到的梯度信息,通过梯度信息可以确定对应的卷积矩阵等直接参数。
在本实施例中,服务器可以先将全局模型的模型参数发生给每个客户终端,每个客户终端根据模型参数更新本地模型即局部模型,并利用本地训练样本对本地模型进行训练,得到训练后的模型参数,然后,将模型参数上报给服务器,从而服务器可以从每个客户终端获取其对应的训练后的模型参数。
可选的,为了保证数据的安全性,可以客户终端和服务器在进行交互的过程中,可以将交互的数据加密。例如,本步骤中,客户终端可以将模型参数加密后发送给服务器,满足隐私保护计算的需要。
步骤202、针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量。
其中,所述待测试的数据可以为任意用于进行结果评估的数据。例如,当需要根据用户的历史资产数据评估用户的购买力时,所述待测试的数据可以为所述用户的历史资产数据。
本步骤中,在得到模型参数后,可以根据对应的模型对待测试的数据进行处理,提取特征向量。所述特征向量表征了待处理的数据的特征。所述特征向量可以是所述模型中任一层输出的特征向量。
可选的,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量,可以包括:将待测试的数据输入到所述模型参数对应的模型中,得到最后一层卷积层输出的特征向量。
值得说明的是,通过选取最后一层卷积层输出的特征向量,能够使得输出的特征向量更加丰富,从而有效提升对待处理的数据进行评估的效果。
步骤203、根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量。
其中,自编码器能够实现特征的无监督学习。具体的,自编码器可以通过将输入信息作为学习目标,实现对输入信息进行表征学习。
自编码器可以包含编码器和解码器两部分,在对自编码器训练完成后,编码器的输出即为所述隐向量,所述隐向量表征自编码器隐含层的特征。
本实施例中,在得到各个客户终端上传的模型参数对应的特征向量后,可以利用这些特征向量对自编码器进行训练,得到对应的隐向量。
步骤204、根据所述隐向量确定所述待测试的数据对应的评估结果。
具体的,所述隐向量代表了所述待测试的数据的特征,可以将所述隐向量输入到机器学习的模型,从而确定对应的评估结果。
本发明实施例中涉及多个模型。其中,服务器中基于联邦学习得到的模型为全局模型,每个客户终端进行本地训练后得到的模型为局部模型,此外,服务器还可以设置有用于确定待测试数据的评估结果的模型,即隐向量输入的模型,为了便于区分,本实施例中,将隐向量输入的模型记为评估模型。
图3为本发明实施例提供的一种数据处理方法的原理示意图。如图3所示,在得到各个客户终端上传的模型后,可以将待测试的数据输入到每个客户终端对应的模型,确定对应的特征向量。然后,利用从每个模型输出的特征向量,对自编码器进行训练,得到对应的隐向量。
自编码器能够融合多个特征向量的有效特征。例如,客户终端1上传的模型1更多地提取坏账相关特征,客户终端2上传的模型2更多地提取转账相关特征,客户终端3上传的模型3更多地提取存款相关特征,通过自编码器可以有效融合这些特征,使得最终得到的隐向量更加丰富,而不仅仅着眼于其中某一个特征。
在得到隐向量后,可以将所述隐向量输入到用于进行结果评估的模型。所述评估模型可以通过任意的机器学习算法来实现,例如,决策树、随机森林、神经网络模型等。所述评估模型可以用于实现任意类型的结果的评估。
可选的,所述待测试的数据可以为用户的资产数据,所述隐向量为所述资产数据对应的隐向量。相应的,本步骤中,根据所述隐向量确定所述待测试的数据对应的评估结果,可以包括:根据所述资产数据对应的隐向量,以及所述用户的购买记录和/或偏好信息,评估所述用户的购买力信息,以根据所述购买力信息向所述用户推送对应的商品信息。
由于提取的隐向量包含了融合后的资产特征,因此可以更好地表征用户的资产属性,结合购买记录、偏好信息等用户的其它数据,能够有效确定向用户推送的商品信息,提升用户体验度。
其中,所述购买记录可以包括用户之前购买过的商品的类型、价格等信息,所述偏好信息可以表示用户在购物时的偏好,可以通过用户的年龄、性别、浏览记录、风险承受能力等信息来确定。
在实际应用中,服务器和多个客户终端可以用于通过联邦学习训练风控模型,在风控模型训练过程中,可以通过多个局部模型提取待测试数据的特征向量,并基于此训练自编码器,得到对应的隐向量,将隐向量输入到评估购买力的模型中,确定用户对应的购买力,从而实现根据多个局部模型提取的特征进行结果评估,提高评估效果。通过上述方法,可以有效提高确定用户购买力的效率和准确率,从而更加精准地向用户推送商品信息。
可以理解的是,评估购买力的模型也可以通过训练得到。由于隐向量包含了较多的特征,通过隐向量对模型进行训练,可以有效提高模型的性能。
可选的,所述服务器的数量可以为一个或多个,例如,可以由其中一个服务器负责获取客户终端发送的模型并训练自编码器得到隐向量,由另一服务器将隐向量输入到评估模型进行评估。或者,可以由同一个服务器进行自编码器的训练和将隐向量输入到评估模型进行评估,本发明实施例对此不作限制。
以上以用户资产数据为例,对本发明实施例的技术方案进行了解释说明,在此基础上,本发明实施例提供的技术方案还可以应用于其它任意领域。例如,所述待测试的数据可以为图像数据,所述评估结果可以用于估计图像的拍摄环境。
具体来说,各个客户终端存储的训练样本可以为图像样本,联邦学习用于训练图像识别模型,不同的客户终端可能有不同的训练侧重点,例如,客户终端1更偏向于图像的轮廓特征,客户终端2更偏向于图像的细节纹理特征,客户终端3更偏向于图像的色彩特征。
通过联邦学习过程,各个客户终端可以向服务器上传训练后的局部模型,服务器可以根据局部模型,对待测试的图像进行处理,得到对应的特征向量。将从三个局部模型得到的特征向量输入到自编码器中进行训练,可以得到对应的隐向量,该隐向量融合了三个局部模型的特征向量,在轮廓、细节纹理和色彩上都有较佳的体现,该隐向量可以输入到其它模型得到对应的评估结果。
例如,所述待测试的图像为用户拍摄的图像,则可以将该隐向量输入到用于评估拍摄环境的模型中,得到对应的拍摄环境如拍摄地点、拍摄时间等,由于隐向量融合了更多的特征,因此得到的结果更加准确。在得到拍摄参数后,可以根据拍摄参数进行后续的操作,如向用户推送该拍摄环境对应的推荐信息、统计不同拍摄环境的热度等。通过上述方法,可以有效提高确定拍摄环境的效率和准确率。
本实施例提供的数据处理方法,可以获取多个客户终端分别发送的模型参数,其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数,针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量,根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量,并根据所述隐向量确定所述待测试的数据对应的评估结果,由于自编码器得到的隐向量融合了多个模型提取的特征向量,因此包含全面、丰富的特征,有效提高了评估结果的准确率。
可以理解的是,联邦学习可能会经过多次迭代过程,上述实施例提供的方法可以应用于联邦学习的任意一个或多个迭代过程中。例如,可以在每一次迭代时,均采用上述的方法实现自编码器的训练。
此外,在本发明实施例公开的技术方案的基础上,本领域技术人员可以根据实际需要对迭代过程和自编码器的训练过程进行调整,例如,可以仅在奇数次的迭代过程中采用上述的方法,而在偶数次的迭代过程中不作改变。
图4为本发明实施例提供的另一种数据处理方法的原理示意图。图4所示方案是在前述实施例提供的技术方案的基础上,在联邦学习的每次迭代过程中均插入自编码器的训练。如图4所示,所述方法可以包括:
步骤401、服务器将当前的全局模型下发给各个客户终端。
假设当前正在进行第t轮的迭代,则可以将当前全局模型Mt下发给每一个客户终端Ci,其中,Mt表示第t次迭代过程中服务器下发的全局模型,Ci表示第i个客户终端。
步骤402、各个客户终端根据本地训练数据,对全局模型进行训练,得到训练后的模型参数并上传给服务器。
具体的,每一客户终端Ci可以将当前的全局模型Mt覆盖本地模型
Figure BDA0002773043400000101
即令
Figure BDA0002773043400000102
然后,客户终端Ci利用自身的本地训练样本进行本地训练,客户终端Ci的本地模型从
Figure BDA0002773043400000103
变为
Figure BDA0002773043400000104
Figure BDA0002773043400000105
的模型参数上传给服务器。
步骤403、服务器根据从每一个客户终端获取的模型参数,对待测试的数据进行处理,得到对应的特征向量。
图5为本发明实施例提供的一种提取特征向量的原理示意图。如图5所示,对于任意一个模型
Figure BDA0002773043400000106
将待测试的数据输入到模型
Figure BDA0002773043400000107
中,图中虚线框代表模型,条状结构代表输入和每一层的输出,输入的数据依次经过模型中的各个层,上一层的输出可以作为下一层的输入,最后一层卷积层输出的结果为提取的特征向量结果。
通过图中所示的过程,可以利用模型
Figure BDA0002773043400000108
提取待测试数据的特征向量Li,Li表示第i个客户终端上报的模型提取的特征向量。
步骤404、服务器根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量。
可选的,可以将通过各个模型参数得到的特征向量进行拼接,将拼接后的特征向量作为所述自编码器的输入和输出,对所述自编码器进行训练,得到对应的隐向量。
图6为本发明实施例提供的一种训练自编码器的原理示意图。如图6所示,通过n个客户终端的模型提取的特征向量分别为L1、L2、……、Ln。将L1、L2、……、Ln进行拼接,利用拼接后的特征向量对所述自编码器进行训练,得到对应的隐向量v。
拼接后的特征向量保存了根据每个客户终端的模型提取到的特征,通过拼接后的特征向量可以快速地实现对自编码器的训练,使得得到的隐向量融合更多的特征。
其中,所述自编码器中隐向量的维度可以小于输入的特征向量的维度。因此,所述自编码器可以用于对输入的特征进行压缩,从而提取输入特征中的有效特征。
举例来说,共有三个客户终端,得到对应的三个特征向量,假设每一个特征向量Li为100维的特征向量,那么这三个特征向量可以拼接为一个300维的特征向量,所述自编码器可以将所述300维的特征向量压缩到100维,从而得到100维的隐向量。
步骤405、服务器对所述多个客户终端的模型参数进行聚合,得到更新后的全局模型。
具体的,可以采用如下公式实现模型的聚合。
Figure BDA0002773043400000111
其中,
Figure BDA0002773043400000112
mi表示客户终端Ci的本地样本数量,m表示所有客户终端的本地样本数量之和。Mt+1表示更新后的全局模型。
通过上述公式,可以根据各个客户终端的模型权重pi,对所述多个客户终端的模型参数进行加权求和,得到更新后的全局模型的模型参数。
举例来说,模型中包括卷积层,对应的模型参数包括卷积矩阵,在得到多个客户终端上报的卷积矩阵后,可以将各个卷积矩阵进行加权求和,得到的卷积矩阵可以作为全局模型中的卷积矩阵。
在进行模型聚合时考虑到的每个模型对应的模型权重,模型权重通过样本占比来确定,可以使聚合后的全局模型更加贴近实际使用场景,整体预测效果更好。
步骤406、服务器判断所述更新后的全局模型是否收敛。若是,则执行步骤407。若否,则返回执行步骤401。
具体来说,在对所述多个客户终端的模型参数进行聚合,得到更新后的全局模型后,可以判断所述更新后的全局模型是否收敛。若所述全局模型处于收敛状态,则确定训练得到的隐向量为最终隐向量,从而可以执行步骤407,根据所述最终隐向量确定所述待测试的数据对应的评估结果。
若所述全局模型处于未收敛状态,则返回执行步骤401,进行第t+1次迭代。即,可以重复执行如下步骤,直至全局模型收敛:将所述全局模型的模型参数分别下发给所述多个客户终端,以从多个客户终端重新获取训练后的模型参数,并根据通过模型参数得到的特征向量继续训练所述自编码器,得到对应的隐向量。
步骤407、服务器根据所述隐向量确定所述待测试的数据对应的评估结果。
具体的,在全局模型收敛的情况下,得到的隐向量为最终隐向量,本步骤中,可以根据所述最终隐向量确定所述待测试的数据对应的评估结果。本步骤的具体实现原理和过程可以参见前述实施例,此处不再赘述。
本实施例提供的数据处理方法,可以将自编码器的训练插入到联邦学习的每一次迭代过程,直至得到的全局模型收敛,输出最终的隐向量,得到对应的评估结果,从而能够利用联邦学习的每一次迭代过程对自编码器进行优化训练,提高自编码器的性能,提升最终得到的隐向量的效果,进一步提高评估结果的准确率。
在上述各实施例提供的技术方案的基础上,可选的是,还可以从各个客户终端抽取训练样本,组成测试数据集;其中,从每一客户终端抽取的训练样本的数量均在预设数量范围内;所述待测试的数据包括所述测试数据集。
相应的,根据所述隐向量确定所述待测试的数据对应的评估结果,可以包括:根据所述测试数据集对应的隐向量,确定所述测试数据集对应的评估结果;根据所述测试数据集对应的评估结果,确定各个客户终端对应的评估结果分布情况。
具体来说,在联邦学习开始之前,可以先在服务器中预先保留测试数据集,测试数据集包含从每一个客户终端抽取出来的训练样本,并且不同的客户终端抽取的样本数量均基本相同,例如均在预设数量范围内。
在联邦学习的过程中,可以采用上述实施例提供的方案,提取每一个服务器中保留的测试数据集中的训练样本对应的隐向量,并根据隐向量确定对应的评估结果,测试数据集的评估结果可以反映各个客户终端的评估结果分布情况。
以所述训练样本包括资产数据为例来说,从各个客户终端抽取训练样本后,可以确定每一训练样本对应的评估结果如购买力信息,从而可以确定各个客户终端的购买力分布情况,如每个客户终端对应的购买力区间,从而可以反映各个客户终端的用户数据分布情况。
在实际应用中,在联邦学习过程中,参与模型训练的多个客户终端的数据量可能会存在差异。当某一个客户终端具有的数据量较多时,将这个客户记为大客户终端,相反,将数据量少的客户终端记为小客户终端。当某一个客户终端的数据量非常大时,用联邦学习计算得到的模型可能会偏向于这个大客户,从而造成不公平。
通过前述方法,可以将从每一个客户终端提取的数据,输入到各个客户终端上传的模型中,得到对应的特征向量,并进一步训练自编码器得到隐向量,由于提取的隐向量融合了各个客户终端模型的特征结果,因此可以更加公平地反映数据的特征,这个隐向量可以作为公平性特征,反映每一个客户终端的数据分布情况。
另外,需要注意的是,本发明各实施例中的步骤的执行顺序并不限于上述序号所限定的顺序,本领域技术人员可以根据具体的应用需求和设计需求进行任意配置。例如,可以先训练自编码器得到隐向量,然后再对各个客户终端上报的模型进行聚合,得到全局模型,或者,也可以先对各个客户终端上报的模型进行聚合,得到全局模型,然后再训练自编码器得到隐向量,或者,这两个步骤可以同时执行,在此不再赘述。
图7为本发明实施例提供的一种数据处理装置的结构示意图。如图7所示,所述数据处理装置可以包括:
获取模块701,用于获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数;
处理模块702,用于针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量;
训练模块703,用于根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量;
确定模块704,用于根据所述隐向量确定所述待测试的数据对应的评估结果。
本实施例提供的数据处理装置,可以用于执行前述任一方法实施例提供的技术方案,其实现原理和技术效果类似,此处不再赘述。
在一种可能的实现方式中,所述待测试的数据为用户的资产数据,所述隐向量为所述资产数据对应的隐向量;所述确定模块704具体用于:
根据所述资产数据对应的隐向量,以及所述用户的购买记录和/或偏好信息,评估所述用户的购买力信息,以根据所述购买力信息向所述用户推送对应的商品信息。
在一种可能的实现方式中,所述获取模块701还用于:
从各个客户终端抽取训练样本,组成测试数据集;其中,从每一客户终端抽取的训练样本的数量均在预设数量范围内;所述待测试的数据包括所述测试数据集;
相应的,所述确定模块704具体用于:
根据所述测试数据集对应的隐向量,确定所述测试数据集对应的评估结果;
根据所述测试数据集对应的评估结果,确定各个客户终端对应的评估结果分布情况。
在一种可能的实现方式中,所述训练模块703具体用于:
将通过各个模型参数得到的特征向量进行拼接;
将拼接后的特征向量作为所述自编码器的输入和输出,对所述自编码器进行训练,得到对应的隐向量;
其中,所述自编码器中隐向量的维度小于输入的特征向量的维度。
在一种可能的实现方式中,所述处理模块702具体用于:
针对每一客户终端,将待测试的数据输入到所述客户终端的模型参数对应的模型中,得到最后一层卷积层输出的特征向量。
在一种可能的实现方式中,所述确定模块704具体用于:
在根据所述隐向量确定所述待测试的数据对应的评估结果之前,对所述多个客户终端的模型参数进行聚合,得到更新后的全局模型;
判断所述更新后的全局模型是否收敛;
若所述全局模型处于收敛状态,则训练得到的隐向量为最终隐向量;
根据所述最终隐向量确定所述待测试的数据对应的评估结果。
在一种可能的实现方式中,所述确定模块704还用于:
若所述全局模型处于未收敛状态,则重复执行如下步骤,直至全局模型收敛:
将所述全局模型的模型参数分别下发给所述多个客户终端,以从多个客户终端重新获取训练后的模型参数,并根据通过模型参数得到的特征向量继续训练所述自编码器,得到对应的隐向量。
前述任一实施例提供的数据处理装置,用于执行前述任一方法实施例的技术方案,其实现原理和技术效果类似,在此不再赘述。
图8为本发明实施例提供的一种数据处理设备的结构示意图。如图8所示,所述设备可以包括:存储器801、处理器802及存储在所述存储器801上并可在所述处理器802上运行的数据处理程序,所述数据处理程序被所述处理器802执行时实现如前述任一实施例所述的数据处理方法的步骤。
可选地,存储器801既可以是独立的,也可以跟处理器802集成在一起。
本实施例提供的设备的实现原理和技术效果可以参见前述各实施例,此处不再赘述。
本发明实施例还提供一种计算机可读存储介质,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如前述任一实施例所述的数据处理方法的步骤。
在本发明所提供的几个实施例中,应该理解到,所揭露的设备和方法,可以通过其它的方式实现。例如,以上所描述的设备实施例仅仅是示意性的,例如,所述模块的划分,仅仅为一种逻辑功能划分,实际实现时可以有另外的划分方式,例如多个模块可以结合或者可以集成到另一个系统,或一些特征可以忽略,或不执行。
上述以软件功能模块的形式实现的集成的模块,可以存储在一个计算机可读取存储介质中。上述软件功能模块存储在一个存储介质中,包括若干指令用以使得一台计算机设备(可以是个人计算机,服务器,或者网络设备等)或处理器执行本发明各个实施例所述方法的部分步骤。
应理解,上述处理器可以是中央处理单元(Central Processing Unit,简称CPU),还可以是其它通用处理器、数字信号处理器(Digital Signal Processor,简称DSP)、专用集成电路(Application Specific Integrated Circuit,简称ASIC)等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合发明所公开的方法的步骤可以直接体现为硬件处理器执行完成,或者用处理器中的硬件及软件模块组合执行完成。
存储器可能包含高速RAM存储器,也可能还包括非易失性存储NVM,例如至少一个磁盘存储器,还可以为U盘、移动硬盘、只读存储器、磁盘或光盘等。
上述存储介质可以是由任何类型的易失性或非易失性存储设备或者它们的组合实现,如静态随机存取存储器(SRAM),电可擦除可编程只读存储器(EEPROM),可擦除可编程只读存储器(EPROM),可编程只读存储器(PROM),只读存储器(ROM),磁存储器,快闪存储器,磁盘或光盘。存储介质可以是通用或专用计算机能够存取的任何可用介质。
一种示例性的存储介质耦合至处理器,从而使处理器能够从该存储介质读取信息,且可向该存储介质写入信息。当然,存储介质也可以是处理器的组成部分。处理器和存储介质可以位于专用集成电路(Application Specific Integrated Circuits,简称ASIC)中。当然,处理器和存储介质也可以作为分立组件存在于电子设备或主控设备中。
需要说明的是,在本文中,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下,由语句“包括一个……”限定的要素,并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
上述本发明实施例序号仅仅为了描述,不代表实施例的优劣。
通过以上的实施方式的描述,本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现,当然也可以通过硬件,但很多情况下前者是更佳的实施方式。基于这样的理解,本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来,该计算机软件产品存储在一个存储介质(如ROM/RAM、磁碟、光盘)中,包括若干指令用以使得一台终端设备(可以是手机,计算机,服务器,空调器,或者网络设备等)执行本发明各个实施例所述的方法。
以上仅为本发明的优选实施例,并非因此限制本发明的专利范围,凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换,或直接或间接运用在其他相关的技术领域,均同理包括在本发明的专利保护范围内。

Claims (10)

1.一种数据处理方法,其特征在于,包括:
获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数;
针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量;
根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量;
根据所述隐向量确定所述待测试的数据对应的评估结果。
2.根据权利要求1所述的方法,其特征在于,还包括:
从各个客户终端抽取训练样本,组成测试数据集;其中,从每一客户终端抽取的训练样本的数量均在预设数量范围内;所述待测试的数据包括所述测试数据集;
相应的,根据所述隐向量确定所述待测试的数据对应的评估结果,包括:
根据所述测试数据集对应的隐向量,确定所述测试数据集对应的评估结果;
根据所述测试数据集对应的评估结果,确定各个客户终端对应的评估结果分布情况。
3.根据权利要求1或2所述的方法,其特征在于,根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量,包括:
将通过各个模型参数得到的特征向量进行拼接;
将拼接后的特征向量作为所述自编码器的输入和输出,对所述自编码器进行训练,得到对应的隐向量;
其中,所述自编码器中隐向量的维度小于输入的特征向量的维度。
4.根据权利要求1或2所述的方法,其特征在于,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量,包括:
将待测试的数据输入到所述模型参数对应的模型中,得到最后一层卷积层输出的特征向量。
5.根据权利要求1所述的方法,其特征在于,在根据所述隐向量确定所述待测试的数据对应的评估结果之前,还包括:
对所述多个客户终端的模型参数进行聚合,得到更新后的全局模型;
判断所述更新后的全局模型是否收敛;
若所述全局模型处于收敛状态,则训练得到的隐向量为最终隐向量;
相应的,根据所述隐向量确定所述待测试的数据对应的评估结果,包括:
根据所述最终隐向量确定所述待测试的数据对应的评估结果。
6.根据权利要求5所述的方法,其特征在于,还包括:
若所述全局模型处于未收敛状态,则重复执行如下步骤,直至全局模型收敛:
将所述全局模型的模型参数分别下发给所述多个客户终端,以从多个客户终端重新获取训练后的模型参数,并根据通过模型参数得到的特征向量继续训练所述自编码器,得到对应的隐向量。
7.根据权利要求1所述的方法,其特征在于,所述待测试的数据为用户的资产数据,所述隐向量为所述资产数据对应的隐向量;
根据所述隐向量确定所述待测试的数据对应的评估结果,包括:
根据所述资产数据对应的隐向量,以及所述用户的购买记录和/或偏好信息,评估所述用户的购买力信息,以根据所述购买力信息向所述用户推送对应的商品信息。
8.一种数据处理装置,其特征在于,包括:
获取模块,用于获取多个客户终端分别发送的模型参数;其中,每一客户终端发送的模型参数为所述客户终端根据本地训练样本对全局模型进行训练后得到的模型参数;
处理模块,用于针对每一客户终端,通过从所述客户终端获取到的模型参数,对待测试的数据进行处理,得到对应的特征向量;
训练模块,用于根据通过各个模型参数得到的特征向量,对自编码器进行训练,得到对应的隐向量;
确定模块,用于根据所述隐向量确定所述待测试的数据对应的评估结果。
9.一种数据处理设备,其特征在于,所述数据处理设备包括:存储器、处理器及存储在所述存储器上并可在所述处理器上运行的数据处理程序,所述数据处理程序被所述处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。
10.一种计算机可读存储介质,其特征在于,所述计算机可读存储介质上存储有数据处理程序,所述数据处理程序被处理器执行时实现如权利要求1-7中任一项所述的数据处理方法的步骤。
CN202011255726.1A 2020-11-11 2020-11-11 数据处理方法、装置、设备及存储介质 Active CN112364919B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202011255726.1A CN112364919B (zh) 2020-11-11 2020-11-11 数据处理方法、装置、设备及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202011255726.1A CN112364919B (zh) 2020-11-11 2020-11-11 数据处理方法、装置、设备及存储介质

Publications (2)

Publication Number Publication Date
CN112364919A true CN112364919A (zh) 2021-02-12
CN112364919B CN112364919B (zh) 2024-09-24

Family

ID=74516052

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202011255726.1A Active CN112364919B (zh) 2020-11-11 2020-11-11 数据处理方法、装置、设备及存储介质

Country Status (1)

Country Link
CN (1) CN112364919B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268524A (zh) * 2021-05-25 2021-08-17 平安科技(深圳)有限公司 油耗异常数据检测方法、装置、电子设备及存储介质
WO2023284511A1 (zh) * 2021-07-15 2023-01-19 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备

Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153518A1 (zh) * 2018-02-08 2019-08-15 平安科技(深圳)有限公司 信息推送方法、装置、计算机设备及存储介质
CN110297848A (zh) * 2019-07-09 2019-10-01 深圳前海微众银行股份有限公司 基于联邦学习的推荐模型训练方法、终端及存储介质
CN110428058A (zh) * 2019-08-08 2019-11-08 深圳前海微众银行股份有限公司 联邦学习模型训练方法、装置、终端设备及存储介质
CN110633805A (zh) * 2019-09-26 2019-12-31 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN110797124A (zh) * 2019-10-30 2020-02-14 腾讯科技(深圳)有限公司 一种模型多端协同训练方法、医疗风险预测方法和装置
CN111180061A (zh) * 2019-12-09 2020-05-19 广东工业大学 融合区块链与联邦学习的共享医疗数据智能辅助诊断系统
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning
CN111553745A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 基于联邦的模型更新方法、装置、设备及计算机存储介质
CN111695674A (zh) * 2020-05-14 2020-09-22 平安科技(深圳)有限公司 联邦学习方法、装置、计算机设备及可读存储介质
CN111709788A (zh) * 2020-06-18 2020-09-25 安徽迪科数金科技有限公司 一种基于数据隐私保护的精准营销系统

Patent Citations (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2019153518A1 (zh) * 2018-02-08 2019-08-15 平安科技(深圳)有限公司 信息推送方法、装置、计算机设备及存储介质
US20200202243A1 (en) * 2019-03-05 2020-06-25 Allegro Artificial Intelligence Ltd Balanced federated learning
CN110297848A (zh) * 2019-07-09 2019-10-01 深圳前海微众银行股份有限公司 基于联邦学习的推荐模型训练方法、终端及存储介质
CN110428058A (zh) * 2019-08-08 2019-11-08 深圳前海微众银行股份有限公司 联邦学习模型训练方法、装置、终端设备及存储介质
CN110633805A (zh) * 2019-09-26 2019-12-31 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN110797124A (zh) * 2019-10-30 2020-02-14 腾讯科技(深圳)有限公司 一种模型多端协同训练方法、医疗风险预测方法和装置
CN111180061A (zh) * 2019-12-09 2020-05-19 广东工业大学 融合区块链与联邦学习的共享医疗数据智能辅助诊断系统
CN111291897A (zh) * 2020-02-10 2020-06-16 深圳前海微众银行股份有限公司 基于半监督的横向联邦学习优化方法、设备及存储介质
CN111553745A (zh) * 2020-05-08 2020-08-18 深圳前海微众银行股份有限公司 基于联邦的模型更新方法、装置、设备及计算机存储介质
CN111695674A (zh) * 2020-05-14 2020-09-22 平安科技(深圳)有限公司 联邦学习方法、装置、计算机设备及可读存储介质
CN111709788A (zh) * 2020-06-18 2020-09-25 安徽迪科数金科技有限公司 一种基于数据隐私保护的精准营销系统

Non-Patent Citations (3)

* Cited by examiner, † Cited by third party
Title
DAVY PREUVENEERS 等: "Chained Anomaly Detection Models for Federated Learning: An Intrusion Detection Case Study", 《APPLIED SCIENCES-BASEL》, vol. 8, no. 12, 31 December 2018 (2018-12-31), pages 1 - 21, XP055931774, DOI: 10.3390/app8122663 *
王蓉 等: "基于联邦学习和卷积神经网络的入侵检测方法", 《信息网络安全》, vol. 20, no. 4, 30 April 2020 (2020-04-30), pages 47 - 54 *
谭作文 等: "机器学习隐私保护研究综述", 《软件学报》, vol. 31, no. 7, 31 July 2020 (2020-07-31), pages 2127 - 2156 *

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN113268524A (zh) * 2021-05-25 2021-08-17 平安科技(深圳)有限公司 油耗异常数据检测方法、装置、电子设备及存储介质
WO2023284511A1 (zh) * 2021-07-15 2023-01-19 支付宝(杭州)信息技术有限公司 一种基于隐私保护的图模型训练方法、装置及设备

Also Published As

Publication number Publication date
CN112364919B (zh) 2024-09-24

Similar Documents

Publication Publication Date Title
CN112000819B (zh) 多媒体资源推荐方法、装置、电子设备及存储介质
You et al. Relative CNN-RNN: Learning relative atmospheric visibility from images
CN112418292B (zh) 一种图像质量评价的方法、装置、计算机设备及存储介质
CN110008397B (zh) 一种推荐模型训练方法及装置
CN111444952A (zh) 样本识别模型的生成方法、装置、计算机设备和存储介质
CN111428557A (zh) 基于神经网络模型的手写签名的自动校验的方法和装置
CN107818491A (zh) 电子装置、基于用户上网数据的产品推荐方法及存储介质
CN112364919B (zh) 数据处理方法、装置、设备及存储介质
CN113538070B (zh) 用户生命价值周期检测方法、装置和计算机设备
CN112365007A (zh) 模型参数确定方法、装置、设备及存储介质
CN113205093A (zh) 基于XGBoost回归与卷积网络的数据资产分析方法、系统及介质
CN113034168B (zh) 内容项投放方法、装置、计算机设备及存储介质
CN114155388B (zh) 一种图像识别方法、装置、计算机设备和存储介质
CN111680213B (zh) 信息推荐方法、数据处理方法及装置
CN115730125A (zh) 对象识别方法、装置、计算机设备和存储介质
CN117592096A (zh) 基于联邦学习隐私保护的异常金融账户检测方法及装置
CN116258923A (zh) 图像识别模型训练方法、装置、计算机设备和存储介质
CN116522131A (zh) 对象表示方法、装置、电子设备及计算机可读存储介质
CN113469819A (zh) 基金产品的推荐方法、相关装置及计算机存储介质
CN114548620A (zh) 物流准时保业务推荐方法、装置、计算机设备和存储介质
CN115689648B (zh) 应用于定向投放的用户信息处理方法及系统
CN114708044B (zh) 虚拟物品信息处理及模型训练方法、装置及电子设备
CN112967134B (zh) 网络训练方法、风险用户识别方法、装置、设备及介质
CN113344613B (zh) 一种数据匹配的方法、装置、电子设备及存储介质
CN111160429B (zh) 图像检测模型的训练方法、图像检测方法、装置及设备

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant