CN113537493B - 人工智能模型训练方法、装置、远端平台和可读存储介质 - Google Patents

人工智能模型训练方法、装置、远端平台和可读存储介质 Download PDF

Info

Publication number
CN113537493B
CN113537493B CN202110837337.8A CN202110837337A CN113537493B CN 113537493 B CN113537493 B CN 113537493B CN 202110837337 A CN202110837337 A CN 202110837337A CN 113537493 B CN113537493 B CN 113537493B
Authority
CN
China
Prior art keywords
training
clients
target
client
artificial intelligence
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202110837337.8A
Other languages
English (en)
Other versions
CN113537493A (zh
Inventor
赖振楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Hosin Global Electronics Co Ltd
Original Assignee
Hosin Global Electronics Co Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Hosin Global Electronics Co Ltd filed Critical Hosin Global Electronics Co Ltd
Priority to CN202110837337.8A priority Critical patent/CN113537493B/zh
Publication of CN113537493A publication Critical patent/CN113537493A/zh
Application granted granted Critical
Publication of CN113537493B publication Critical patent/CN113537493B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F21/00—Security arrangements for protecting computers, components thereof, programs or data against unauthorised activity
    • G06F21/60—Protecting data
    • G06F21/602—Providing cryptographic facilities or services
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Abstract

本申请公开了一种人工智能模型训练方法、装置、远端平台和可读存储介质。该方法包括获取第i个客户端预处理和加密后的标准加密数据；根据N个客户端的运行状态从N个客户端中确定训练人工智能模型的M个目标客户端，利用M个目标客户端和标准加密数据训练人工智能模型；接收M个目标客户端输出的第i训练结果，将第i训练结果下发至相应的第i个客户端，以使第i个客户端对训练结果进行解密并根据解密后的训练结果确定人工智能模型的评价指标并将评价指标上传至远端平台；根据评价指标确定是否继续训练人工智能模型。本方案可以有效保证训练数据的安全性，也可以加快人工智能模型的训练速度。

Description

人工智能模型训练方法、装置、远端平台和可读存储介质
技术领域
本发明涉及人工智能领域，尤其涉及一种人工智能模型训练方法、装置、远端平台和可读存储介质。
背景技术
当前，人工智能越来越普遍地应用于人们生活的各个领域，并且由于人工智能模型的高效性极大提高了人类生产力。目前常见的人工智能模型的训练的方式一般为：本地搭建环境，购买硬件设备本地训练，这种方式对于用户的专业知识以及动手能力有一定的要求，且训练设备的价格较高，在训练设备数量不多的情况下所需的训练时间较长。
发明内容
鉴于上述问题，本发明提出一种人工智能模型训练方法、装置、远端平台和可读存储介质。
本申请提出一种人工智能模型训练方法，应用于与N个客户端连接的远端平台，所述方法包括：
获取第i个客户端预处理和加密后的标准加密数据，1≤i≤N；
根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型；
接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台；
根据所述评价指标确定是否继续训练所述人工智能模型。
本申请所述的人工智能模型训练方法，所述根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，包括：
根据所述人工智能模型和所述标准加密数据确定M的取值；
向所述N个客户端发送状态信息获取请求；
接收所述N个客户端返回的状态信息；
根据所述N个客户端返回的状态信息对N个客户端的运算能力进行打分；
根据分数从高到低的顺序对N个客户端的运算能力进行排序；
将排序靠前的M个客户端作为目标客户端。
本申请所述的人工智能模型训练方法，所述状态信息包括各个客户端的处理器频率、处理器运算位数、处理器当前占用率、当前任务数和当前功耗中的至少一种。
本申请所述的人工智能模型训练方法，在所述人工智能模型训练完成后，还包括：
统计所述人工智能模型的训练次数；
根据所述标准加密数据对应的原始训练数据的解析度、所述人工智能模型的复杂度和所述训练次数计算总运算量；
根据所述总运算量确定总奖励量；
获取各个目标客户端将对应的实际贡献度；
根据各个目标客户端将对应的实际贡献度将所述总奖励量分给M个目标客户端。
本申请所述的人工智能模型训练方法，所述总运算量利用以下公式计算：
总运算量＝所述训练数据的解析度*所述人工智能模型的复杂度*所述训练次数。
本申请所述的人工智能模型训练方法，利用以下公式计算各个目标客户端将对应的实际贡献度：
pj表示第j个目标客户端的实际贡献度，Tj表示所述第j个目标客户端在执行训练任务过程中获取处理器占用率、运行内存占用率、占用带宽、存储空间占用率和对应的训练任务的重要性的总获取次数，γ表示预定的衰减指数，O表示第j个目标终端对应的训练任务的复杂度，Pj()表示第j个目标客户端对应的贡献度函数，Ct，j表示第j个目标客户端在第t个时刻获取的处理器占用率，Mt，j表示第j个目标客户端在第t个时刻获取的运行内存占用率，Bt，j表示第j个目标客户端在第t个时刻获取的占用带宽，Dt，j表示第j个目标客户端在第t个时刻获取的存储空间占用率，It，j表示第j个目标客户端在第t个时刻执行的训练任务的重要性，a、b、c、d、e表示预定的权重系数，1≤j≤M。
本申请还提出一种人工智能模型训练装置，应用于与N个客户端连接的远端平台，所述装置包括：
获取模块，用于获取第i个客户端预处理和加密后的标准加密数据，1≤i≤N；
训练模块，用于根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型；
评价模块，用于接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台；
确定模块，用于根据所述评价指标确定是否继续训练所述人工智能模型。
本申请还提出一种远端平台，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行本申请所述的人工智能模型训练方法。
本申请还提出一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本申请所述的人工智能模型训练方法。
本申请还提出一种人工智能模型训练系统，所述系统包括N个客户端和本申请所述的远端平台，所述远端平台和所述N个客户端连接。
本申请通过远端平台获取的用于训练的训练数据是经过客户端预处理和加密后的标准加密数据，有效保证客户端获取的数据的安全性，避免客户端获取的数据泄露个人隐私；远端平台根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型，由于M个目标客户端组成算力池，使得整体算力更强，可以加快人工智能模型的训练速度，节省训练时间；第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台，即将训练过程中较为简单的运算下发给第i个客户端处理(加密的客户端)，可以保证第i个客户端的算力被充分利用，并且将解密过程交给加密的客户端处理，可以有效保证训练数据的安全性，也可以加快解密速度。
附图说明
为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对本发明保护范围的限定。在各个附图中，类似的构成部分采用类似的编号。
图1示出了本申请实施例提出的一种人工智能模型训练方法的流程示意图；
图2示出了本申请实施例提出的一种多个目标客户端确定方法的流程示意图；
图3示出了本申请实施例提出的一种卷积神经网络的结构示意图；
图4示出了本申请实施例提出的一种奖励分配方法的流程示意图；
图5示出了本申请实施例提出的一种人工智能模型训练装置的结构示意图；
图6示出了本申请实施例提出的一种人工智能模型训练系统的结构示意图。
主要元件符号说明：
10-人工智能模型训练装置；11-获取模块；12-训练模块；13-评价模块；14-确定模块。
具体实施方式
下面将结合本发明实施例中附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。
通常在此处附图中描述和示出的本发明实施例的组件可以以各种不同的配置来布置和设计。因此，以下对在附图中提供的本发明的实施例的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例，都属于本发明保护的范围。
在下文中，可在本发明的各种实施例中使用的术语“包括”、“具有”及其同源词仅意在表示特定特征、数字、步骤、操作、元件、组件或前述项的组合，并且不应被理解为首先排除一个或更多个其它特征、数字、步骤、操作、元件、组件或前述项的组合的存在或增加一个或更多个特征、数字、步骤、操作、元件、组件或前述项的组合的可能性。
此外，术语“第一”、“第二”、“第三”等仅用于区分描述，而不能理解为指示或暗示相对重要性。
除非另有限定，否则在这里使用的所有术语(包括技术术语和科学术语)具有与本发明的各种实施例所属领域普通技术人员通常理解的含义相同的含义。所述术语(诸如在一般使用的词典中限定的术语)将被解释为具有与在相关技术领域中的语境含义相同的含义并且将不被解释为具有理想化的含义或过于正式的含义，除非在本发明的各种实施例中被清楚地限定。
本申请提出一种人工智能模型训练方法，应用于与N个客户端连接的远端平台，其中，远端平台可以获取第i(1≤i≤N)个客户端预处理和加密后的标准加密数据；根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型；接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台；根据所述评价指标确定是否继续训练所述人工智能模型。
本申请一方面，由于远端平台获取的用于训练的训练数据是经过客户端预处理和加密后的标准加密数据，有效保证客户端获取的数据的安全性，避免客户端获取的数据泄露个人隐私；另一方面，远端平台根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型，由于M个目标客户端组成算力池，使得整体算力更强，可以加快人工智能模型的训练速度，节省训练时间；再一方面，第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台，即将训练过程中较为简单的运算下发给第i个客户端处理(加密的客户端)，可以保证第i个客户端的算力被充分利用，并且将解密过程交给加密的客户端处理，可以有效保证训练数据的安全性，也可以加快解密速度。
实施例1
本申请的一个实施例，请参见图1，提出一种人工智能模型训练方法包括以下步骤S100、S200、S300和S400。
S100：获取第i个客户端预处理和加密后的标准加密数据。
其中，1≤i≤N。远端平台获取的用于训练的训练数据是经过客户端预处理和加密后的标准加密数据，可以有效保证客户端获取的数据的安全性，避免客户端获取的数据泄露个人隐私。
可以理解，第i个客户端可以对本机采集的训练数据进行同态加密；然后，将同态加密后的数据进行预处理以获取标准加密数据，所述预处理包括降噪处理、分类处理和归一化处理。或者，第i个客户端可以先对本机采集的训练数据进行降噪处理、分类处理和归一化处理，然后对预处理后的数据进行同态加密。
示范性的，第i个客户端可以利用paillier加密算法对本机采集的训练数据进行同态加密，paillier加密算法是一种公钥加密算法，其加密过程可简单描述为：生成密钥，随机选择两个大素数p和q，计算n＝pq，e(n)＝lcm(p-1,q-1)，G为模n2的乘法群，即随机选择g∈G，使得g满足gcd(L(gemodn2),n)＝1，则该加密方案的公钥为(g,n)，私钥为e(n)，明文取值域为Zn，即范围为m<n。然后对数据进行加密。设被加密数据为m∈Zn，随机选择数/>则m加密后的密文为c＝gmrnmodn2。显然，同态加密后的加密数据量将大于原始数据量，若对其进行AI计算，则需要更强的计算能力。
S200：根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型。
示范性的，请参见图2，根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，包括以下步骤S210～S260。
S210：根据所述人工智能模型和所述标准加密数据确定M的取值。
可以根据人工智能模型的复杂度和标准加密数据的数据总量确定M的取值，可以理解，人工智能模型的复杂度越高，M的取值越大，标准加密数据的数据总量越多，M的取值越大，以保证M个目标客户端组成的算力池具有足够的算力可以利用标准加密数据对人工智能模型进行训练。
进一步的，也可以分别为人工智能模型的训练过程对应的多个步骤中的每一个步骤确定相应数目的目标客户端，即根据每一个步骤的复杂度确相应数目的目标客户端，复杂度越高的步骤对应的目标客户端的数目越多。
S220：向所述N个客户端发送状态信息获取请求。
远端平台向与之连接的N个客户端发送状态信息获取请求，其中，每一个客户端均具有计算功能和通讯功能，甚至具有专门搭载有计算芯片的计算端，以用于处理大量的数据。
S230：接收所述N个客户端返回的状态信息。
其中，状态信息包括各个客户端的处理器频率、处理器运算位数、处理器当前占用率、当前任务数和当前功耗中的至少一种。
S240：根据所述N个客户端返回的状态信息对N个客户端的运算能力进行打分。
可以根据各个客户端的处理器频率、处理器运算位数、处理器当前占用率、当前任务数和当前功耗中的一种参数对每一个客户端的运算能力进行打分。例如，可以利用处理器(CPU或GPU(graphics processing unit，图形处理器))当前占用率对每一个客户端的运算能力进行打分，打分方式可以根据处理器当前占用率为客户端打0～10或者0～100等任意范围的分数(例如，处理器占用率越低分数越高)，也可以根据各个客户端的处理器当前占用率将各个客户端分级，例如，处理器当前占用率<40％，则认为其为空闲状态(高级)，40％<处理器当前占用率<80％则认为其为备用状态(中级)，处理器当前占用率>80％则认为其为繁忙状态(低级)。
或者，还可以综合分析各个客户端的处理器频率、处理器运算位数、处理器当前占用率、当前任务数和当前功耗中的多种参数，以对每一个客户端的运算能力进行综合评估。可以理解名综合评估的效果更好，更全面，可以避免某一单一参数异常，导致客户端的运算能力评估错误。
S250：根据分数从高到低的顺序对N个客户端的运算能力进行排序。
S260：将排序靠前的M个客户端作为目标客户端。
获取运算能力更高的M个客户端作为目标客户端，可以保证利用最少的目标客户端获得更强的算力，保证训练效率。
S300：接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台。
将所述第i训练结果下发至相应的所述第i个客户端，即将训练过程中较为简单的运算下发给第i个客户端处理(加密的客户端)，通过加密的客户端对训练结果进行解密，可以有效保证训练数据的安全性并且可以加快解密速度。
进一步的，第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至远端平台。
S400：根据所述评价指标确定是否继续训练所述人工智能模型。
远端平台接收评价指标，并根据评价指标确定是否继续训练所述人工智能模型。若评价指标代表继续训练所述人工智能模型，则远端平台继续利用M个目标客户端和标准加密数据训练所述人工智能模型；若评价指标代表停止训练所述人工智能模型，则人工智能模型训练完成。
示范性的，本实施例以卷积神经网络为例进行说明。设一简单的卷积神经网络包括1个输入层，2个卷积层，2个池化层，2个全连接层和1个输出层，其整体结构，请参见图3。不同层进行不同的数据处理操作。简单地对该卷积神经网络所要的计算进行说明：
输入层Ip1，用于将目标数据输入至卷积神经网络中。主要是在输入层中对数据进行预处理。常见的预处理操作包括去均值、归一化、PCA/SVD降维等，其目的在于将数据的原始特征归纳到相近领域，以保证原始特征中不同特征具有相同的量纲。以归一化为例，图像归一化最常见的就是最大最小值归一化方法，其计算为：其中xi表示图像像素点值，min(x)，max(x)分别代表图像像素的最大与最小值。输入层具有输出向量，该向量的大小就是图片的大小。
卷积层C2，用于利用卷积操作得到图像特征。此卷积层的输入来源于输入层的输出。假设输入层Ip1输出了一张38*38的图像，在此卷积层中进行大小为5*5像素和步长为1像素的卷积和偏置操作，再经过一个激活函数(可为tanh函数便可以得到32张34*3像素大小的特征图。
池化层S3，用于对图像特征进行均值池化操作，压缩数据和参数的量。将卷积层C2输出的32张特征图输入到此层中，对其进行最大池化操作，池化块的大小为2*2像素，步长为1像素，得到32张17*17像素的特征图。
卷积层C4，用于利用卷积操作得到图像特征。与卷积层C2操作类似。将池化层S3中输出的32张特征图输入到此层中，对其进行大小为5*5像素和步长为1像素的卷积和偏置操作，再经过一个激活函数，便可以得到64张13*13像素大小的特征图。
池化层S5，用于对图像特征进行均值池化操作，压缩数据和参数的量。与池化层S3操作类似。将卷积层C4中输出的64张特征图输入到此层中，对其进行最大池化操作，池化块的大小为2*2像素，步长为1像素，得到64张分辨率为7*7像素的特征图。
全连接层Fc6，用于连接当层神经元与前一层神经元。将池化层S5输出的64张特征图输入到全连接层Fc6中，在用激活函数(可为tanh函数对每个像素点进行激活，得到激活后的特征图的像素点的值，将激活后的特征图以列的顺序排列成1维向量，得到1*3136维的特征向量。
全连接层Fc7，用于连接当层神经元与前一层神经元。将全连接层Fc6输出的特征向量输入全连接层Fc6，构成一神经网络，输出1*500维的特征向量。
输出层Op8，用于计算分类结果。将全连接层Fc7输出的特征向量输入至Softmax分类器中，得到分类结果并输出。
其中，卷积层C2、池化层S3、卷积层C4、池化层S5、全连接层Fc6和全连接层Fc7的运算量较大，需要多个客户端参与运算。
可以将对原始数据进行加密的客户端作为本机，由于输入层Ip1的计算量是比较少的，可以在本机上部署该卷积神经网络算法中的输入层Ip1，以使本机可以对原始数据进行预处理，例如，归一化。进一步的，本机可以通过网络将输入层Ip1输出的标准加密数据发送到远端平台上。远端平台接收该标准加密数据，并为运算量较大的步骤(卷积层C2、池化层S3、卷积层C4、池化层S5、全连接层Fc6和全连接层Fc7)选择相应数目的目标客户端，利用相应数目的目标客户端组成的算力池共同执行运算量较大的步骤，以加快人工智能模型的训练速度，节省训练时间。进一步的，输出层Op8也是的计算量是比较少的，可以将输出层Op8部署在本机上，本机上便能够得到人工智能模型输出的训练结果。随后本机要对人工智能模型输出的训练结果进行解密。
示范性的，本机对训练结果进行解码时：c为训练结果，e为私钥，g为随机选择的一个小于n2的正整数，n＝pq，p和q为随机选择两个大素数，则解密后的明文
本实施例一方面，由于远端平台获取的用于训练的训练数据是经过客户端预处理和加密后的标准加密数据，有效保证客户端获取的数据的安全性，避免客户端获取的数据泄露个人隐私；另一方面，远端平台根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型，由于M个目标客户端组成算力池，使得整体算力更强，可以加快人工智能模型的训练速度，节省训练时间；再一方面，第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台，即将训练过程中较为简单的运算下发给第i个客户端处理(加密的客户端)，可以保证第i个客户端的算力被充分利用，并且将解密过程交给加密的客户端处理，可以有效保证训练数据的安全性，也可以加快解密速度。
实施例2
本申请的一个实施例，请参见图4，提出一种奖励分配方法包括以下步骤：
S500：统计所述人工智能模型的训练次数。
在人工智能模型训练完成后，统计所述人工智能模型的训练次数。
S600：根据所述标准加密数据对应的原始训练数据的解析度、所述人工智能模型的复杂度和所述训练次数计算总运算量。
其中，总运算量＝所述训练数据的解析度*所述人工智能模型的复杂度*所述训练次数。
若训练数据是图像，则训练数据的解析度表示图像的分辨率，若训练数据是文本数据，则训练数据的解析度可以是文本数据的词频数。
人工智能模型的复杂度可以是空间复杂度或时间复杂度。训练次数表示训练过程中的迭代次数。
S700：根据所述总运算量确定总奖励量。
总运算量越多，总奖励量越多。
S800：获取各个目标客户端将对应的实际贡献度。
可以理解，远端平台可以在各个目标客户端执行训练任务时，实时获取的各个目标客户的处理器占用率、所述运行内存占用率、所述占用带宽、所述存储空间占用率和所述对应的训练任务的重要性，远端平台根据实时获取的所述处理器占用率、所述运行内存占用率、所述占用带宽、所述存储空间占用率和所述对应的训练任务的重要性确定所述第j个目标客户端的实际贡献度。
或者，各个目标客户端在执行训练任务时，各个目标客户端实时获取的各自的处理器占用率、所述运行内存占用率、所述占用带宽、所述存储空间占用率和所述对应的训练任务的重要性，各个目标客户端实时获取的所述处理器占用率、所述运行内存占用率、所述占用带宽、所述存储空间占用率和所述对应的训练任务的重要性确定各个目标客户端的实际贡献度，各个目标客户端再将对应的实际贡献度上传至所述远端平台。
示范性的，可以利用以下公式计算各个目标客户端将对应的实际贡献度：
其中，pj表示第j个目标客户端的实际贡献度，Tj表示所述第j个目标客户端在执行训练任务过程中获取处理器占用率、运行内存占用率、占用带宽、存储空间占用率和对应的训练任务的重要性的总获取次数，γ表示预定的衰减指数，O表示第j个目标终端对应的训练任务的复杂度，Pj()表示第j个目标客户端对应的贡献度函数，Ct，j表示第j个目标客户端在第t个时刻获取的处理器占用率，Mt，j表示第j个目标客户端在第t个时刻获取的运行内存占用率，Bt，j表示第j个目标客户端在第t个时刻获取的占用带宽，Dt，j表示第j个目标客户端在第t个时刻获取的存储空间占用率，It，j表示第j个目标客户端在第t个时刻执行的训练任务的重要性，a、b、c、d、e表示预定的权重系数，1≤j≤M。
S900：根据各个目标客户端将对应的实际贡献度将所述总奖励量分给M个目标客户端。
可以将各个目标客户端将对应的实际贡献度相加获得总贡献之和，则，第j个目标客户端获得的奖励量＝第j个目标客户端对应的实际贡献度/总贡献之和*总奖励量，1≤j≤M。
可以理解，通过根据各个目标客户端将对应的实际贡献度将所述总奖励量分给M个目标客户端，可以在多个客户端向远端平台发出协助请求时，远端平台优先协助获得奖励量多的客户端，进而可以在远端平台需要算力时提高与远端平台连接的N个客户端的积极性，以使客户端可以提高更多的算力。
实施例3
本申请的一个实施例，请参见图5，提出一种人工智能模型训练装置10包括获取模块11、训练模块12、评价模块13和确定模块14。可以理解，人工智能模型训练装置10应用于与N个客户端连接的远端平台。
获取模块11，用于获取第i个客户端预处理和加密后的标准加密数据，1≤i≤N；训练模块12，用于根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型；评价模块13，用于接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台；确定模块14，用于根据所述评价指标确定是否继续训练所述人工智能模型。
本实施例公开的人工智能模型训练装置10通过获取模块11、训练模块12、评价模块13和确定模块14的配合使用，用于执行上述实施例所述的人工智能模型训练方法，上述实施例所涉及的实施方案以及有益效果在本实施例中同样适用，在此不再赘述。
可以理解，本申请涉及一种远端平台，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行本申请所述的人工智能模型训练方法。
可以理解，本申请涉及一种可读存储介质，其存储有计算机程序，所述计算机程序在处理器上运行时执行本申请所述的人工智能模型训练方法。
进一步的，请参见图6，示出一种人工智能模型训练系统包括N个客户端和本申请公开的远端平台，所述远端平台和所述N个客户端连接。
可以理解，人工智能模型来源于远端平台。远端平台将连接到平台上的计算机/客户端作为节点。节点一般均具有计算功能和通讯功能，甚至具有专门搭载有计算芯片的计算端，以用于处理大量的数据。远端平台可以将多个节点组成集群，从而可以利用所有节点的计算能力。该集群包括计算机/客户端、网络和远端平台。计算机/客户端可以是各种电子设备，包括手机，电脑，计算中心等，用于提交/处理各种请求与命令，其通常包括计算单元(如CPU或GPU)和通讯单元(如网卡)。网络用于为远端平台和计算机/客户端之间提供通讯链路的介质，网络可以包括各种连接类型，包括有线通信，无线通信或者光纤电缆等等。计算机/客户端上的通讯功能可以利用网络实现与远端平台的交互。远端平台可以是单独的硬件设备或者集群中的节点，通过内置的软硬件提供各种服务，包括计算、算法部署、任务分配等等，也可以是软件在某设备或节点上搭建的虚拟平台，根据需要提供各种服务。
在本申请所提供的几个实施例中，应该理解到，所揭露的装置和方法，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的流程图和结构图显示了根据本发明的多个实施例的装置、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，结构图和/或流程图中的每个方框、以及结构图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
另外，在本发明各个实施例中的各功能模块或单元可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或更多个模块集成形成一个独立的部分。
所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个可读存储介质中。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是智能手机、个人计算机、服务器、或者网络设备等)执行本发明各个实施例所述方法的全部或部分步骤。而前述的可读存储介质包括：U盘、移动硬盘、只读存储器(ROM，Read-Only Memory)、随机存取存储器(RAM，Random Access Memory)、磁碟或者光盘等各种可以存储程序代码的介质。
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本发明的保护范围之内。

Claims (9)

1.一种人工智能模型训练方法，其特征在于，应用于与N个客户端连接的远端平台，所述方法包括：
获取第i个客户端预处理和加密后的标准加密数据，1≤i≤N；
根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型；
接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台；
根据所述评价指标确定是否继续训练所述人工智能模型；
所述根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，包括：
根据所述人工智能模型和所述标准加密数据确定M的取值；
向所述N个客户端发送状态信息获取请求；
接收所述N个客户端返回的状态信息；
根据所述N个客户端返回的状态信息对N个客户端的运算能力进行打分；
根据分数从高到低的顺序对N个客户端的运算能力进行排序；
将排序靠前的M个客户端作为目标客户端。
2.根据权利要求1所述的人工智能模型训练方法，其特征在于，所述状态信息包括各个客户端的处理器频率、处理器运算位数、处理器当前占用率、当前任务数和当前功耗中的至少一种。
3.根据权利要求1所述的人工智能模型训练方法，其特征在于，在所述人工智能模型训练完成后，还包括：
统计所述人工智能模型的训练次数；
根据所述标准加密数据对应的原始训练数据的解析度、所述人工智能模型的复杂度和所述训练次数计算总运算量；
根据所述总运算量确定总奖励量；
获取各个目标客户端将对应的实际贡献度；
根据各个目标客户端将对应的实际贡献度将所述总奖励量分给M个目标客户端。
4.根据权利要求3所述的人工智能模型训练方法，其特征在于，所述总运算量利用以下公式计算：
总运算量＝所述训练数据的解析度*所述人工智能模型的复杂度*所述训练次数。
5.根据权利要求3所述的人工智能模型训练方法，其特征在于，利用以下公式计算各个目标客户端将对应的实际贡献度：
pj表示第j个目标客户端的实际贡献度，Tj表示所述第j个目标客户端在执行训练任务过程中获取处理器占用率、运行内存占用率、占用带宽、存储空间占用率和对应的训练任务的重要性的总获取次数，γ表示预定的衰减指数，O表示第j个目标终端对应的训练任务的复杂度，Pj()表示第j个目标客户端对应的贡献度函数，Ct，j表示第j个目标客户端在第t个时刻获取的处理器占用率，Mt，j表示第j个目标客户端在第t个时刻获取的运行内存占用率，Bt，j表示第j个目标客户端在第t个时刻获取的占用带宽，Dt，j表示第j个目标客户端在第t个时刻获取的存储空间占用率，It，j表示第j个目标客户端在第t个时刻执行的训练任务的重要性，a、b、c、d、e表示预定的权重系数，1≤j≤M。
6.一种人工智能模型训练装置，其特征在于，应用于与N个客户端连接的远端平台，所述装置包括：
获取模块，用于获取第i个客户端预处理和加密后的标准加密数据，1≤i≤N；
训练模块，用于根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，利用所述M个目标客户端和所述标准加密数据训练所述人工智能模型；
评价模块，用于接收所述M个目标客户端输出的第i训练结果，将所述第i训练结果下发至相应的所述第i个客户端，以使所述第i个客户端对所述训练结果进行解密并根据解密后的训练结果确定所述人工智能模型的评价指标并将所述评价指标上传至所述远端平台；
确定模块，用于根据所述评价指标确定是否继续训练所述人工智能模型；
所述训练模块，还用于所述根据所述N个客户端的运行状态从所述N个客户端中确定训练人工智能模型的M个目标客户端，包括：
根据所述人工智能模型和所述标准加密数据确定M的取值；
向所述N个客户端发送状态信息获取请求；
接收所述N个客户端返回的状态信息；
根据所述N个客户端返回的状态信息对N个客户端的运算能力进行打分；
根据分数从高到低的顺序对N个客户端的运算能力进行排序；
将排序靠前的M个客户端作为目标客户端。
7.一种远端平台，其特征在于，包括存储器和处理器，所述存储器存储有计算机程序，所述计算机程序在所述处理器上运行时执行权利要求1至5任一项所述的人工智能模型训练方法。
8.一种可读存储介质，其特征在于，其存储有计算机程序，所述计算机程序在处理器上运行时执行权利要求1至5任一项所述的人工智能模型训练方法。
9.一种人工智能模型训练系统，其特征在于，所述系统包括N个客户端和权利要求7所述的远端平台，所述远端平台和所述N个客户端连接。
CN202110837337.8A 2021-07-23 2021-07-23 人工智能模型训练方法、装置、远端平台和可读存储介质 Active CN113537493B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110837337.8A CN113537493B (zh) 2021-07-23 2021-07-23 人工智能模型训练方法、装置、远端平台和可读存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202110837337.8A CN113537493B (zh) 2021-07-23 2021-07-23 人工智能模型训练方法、装置、远端平台和可读存储介质

Publications (2)

Publication Number Publication Date
CN113537493A CN113537493A (zh) 2021-10-22
CN113537493B true CN113537493B (zh) 2023-12-08

Family

ID=78088869

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202110837337.8A Active CN113537493B (zh) 2021-07-23 2021-07-23 人工智能模型训练方法、装置、远端平台和可读存储介质

Country Status (1)

Country Link
CN (1) CN113537493B (zh)

Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN111209931A (zh) * 2019-12-23 2020-05-29 深圳智链物联科技有限公司 数据处理方法、平台、终端设备及存储介质
CN111898145A (zh) * 2020-07-22 2020-11-06 苏州浪潮智能科技有限公司 一种神经网络模型训练方法、装置、设备及介质
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
KR102280489B1 (ko) * 2020-11-19 2021-07-22 주식회사 두유비 대규모 사전학습 모델을 학습하여 지성을 기반으로 대화하는 대화 지능 획득 방법

Patent Citations (5)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109886417A (zh) * 2019-03-01 2019-06-14 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、装置、设备及介质
CN111209931A (zh) * 2019-12-23 2020-05-29 深圳智链物联科技有限公司 数据处理方法、平台、终端设备及存储介质
CN111898145A (zh) * 2020-07-22 2020-11-06 苏州浪潮智能科技有限公司 一种神经网络模型训练方法、装置、设备及介质
CN111966223A (zh) * 2020-08-17 2020-11-20 陈涛 非感知的mr眼镜人机识别方法、系统、设备及存储介质
KR102280489B1 (ko) * 2020-11-19 2021-07-22 주식회사 두유비 대규모 사전학습 모델을 학습하여 지성을 기반으로 대화하는 대화 지능 획득 방법

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
基于深度学习神经网络的SAR星上目标识别系统研究;袁秋壮;魏松杰;罗娜;;上海航天(05);全文 *

Also Published As

Publication number Publication date
CN113537493A (zh) 2021-10-22

Similar Documents

Publication Publication Date Title
CN111600707B (zh) 一种在隐私保护下的去中心化联邦机器学习方法
EP3965023A1 (en) Method and device for constructing decision trees
CN111428887B (zh) 一种基于多个计算节点的模型训练控制方法、装置及系统
US11575502B2 (en) Homomorphic encryption processing device, system including the same and method of performing homomorphic encryption processing
CN108012156A (zh) 一种视频处理方法及控制平台
CN110969243B (zh) 防止隐私泄漏的对抗生成网络的训练方法及装置
CN113747442B (zh) 基于irs辅助的无线通信传输方法、装置、终端及存储介质
CN110209994A (zh) 基于同态加密的矩阵分解推荐方法
CN115310121A (zh) 车联网中基于MePC-F模型的实时强化联邦学习数据隐私安全方法
Kumar et al. A GRU and chaos-based novel image encryption approach for transport images
CN113537493B (zh) 人工智能模型训练方法、装置、远端平台和可读存储介质
CN111915689A (zh) 用于生成目标函数的方法、装置、电子设备和计算机可读介质
CN112182633B (zh) 保护隐私的模型联合训练方法及装置
CN114662148A (zh) 一种保护隐私的多方联合训练方法及装置
Liu et al. Ppefl: An edge federated learning architecture with privacy-preserving mechanism
CN109347613B (zh) 用于旁路攻击的gpu加速方法
KR20220048225A (ko) 동형 연산 가속기 및 이를 포함하는 동형 연산 수행 장치
CN112765481A (zh) 一种数据处理方法、装置、计算机及可读存储介质
CN111814165A (zh) 一种基于深度神经网络中间层的图像隐私保护方法
CN113011459B (zh) 模型训练方法、装置和计算设备
EP4361895A1 (en) Machine learning
Mao et al. A statistical approach for neural network pruning with application to internet of things
US11500881B1 (en) System and method for an interactive political platform
CN116150774A (zh) 数据保护模型训练及数据保护方法、装置以及存储介质
CN115499186A (zh) 移动群智感知中基于安全多方计算真值发现隐私保护方案

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant