CN114996317B - 基于纵向联邦学习的异步优化方法、装置及存储介质 - Google Patents

基于纵向联邦学习的异步优化方法、装置及存储介质 Download PDF

Info

Publication number
CN114996317B
CN114996317B CN202210796965.0A CN202210796965A CN114996317B CN 114996317 B CN114996317 B CN 114996317B CN 202210796965 A CN202210796965 A CN 202210796965A CN 114996317 B CN114996317 B CN 114996317B
Authority
CN
China
Prior art keywords
training
model
vector
coding
input
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN202210796965.0A
Other languages
English (en)
Other versions
CN114996317A (zh
Inventor
李鑫超
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
China Telecom Corp Ltd
Original Assignee
China Telecom Corp Ltd
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by China Telecom Corp Ltd filed Critical China Telecom Corp Ltd
Priority to CN202210796965.0A priority Critical patent/CN114996317B/zh
Publication of CN114996317A publication Critical patent/CN114996317A/zh
Application granted granted Critical
Publication of CN114996317B publication Critical patent/CN114996317B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/24—Querying
    • G06F16/245—Query processing
    • G06F16/2455—Query execution
    • G06F16/24553—Query execution of query operations
    • G06F16/24554—Unary operations; Data partitioning operations
    • G06F16/24556—Aggregation; Duplicate elimination
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F16/00—Information retrieval; Database structures therefor; File system structures therefor
    • G06F16/20—Information retrieval; Database structures therefor; File system structures therefor of structured data, e.g. relational data
    • G06F16/23—Updating
    • Y—GENERAL TAGGING OF NEW TECHNOLOGICAL DEVELOPMENTS; GENERAL TAGGING OF CROSS-SECTIONAL TECHNOLOGIES SPANNING OVER SEVERAL SECTIONS OF THE IPC; TECHNICAL SUBJECTS COVERED BY FORMER USPC CROSS-REFERENCE ART COLLECTIONS [XRACs] AND DIGESTS
    • Y02—TECHNOLOGIES OR APPLICATIONS FOR MITIGATION OR ADAPTATION AGAINST CLIMATE CHANGE
    • Y02D—CLIMATE CHANGE MITIGATION TECHNOLOGIES IN INFORMATION AND COMMUNICATION TECHNOLOGIES [ICT], I.E. INFORMATION AND COMMUNICATION TECHNOLOGIES AIMING AT THE REDUCTION OF THEIR OWN ENERGY USE
    • Y02D10/00—Energy efficient computing, e.g. low power processors, power management or thermal management

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Databases & Information Systems (AREA)
  • Physics & Mathematics (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computational Linguistics (AREA)
  • Information Retrieval, Db Structures And Fs Structures Therefor (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请的实施例公开了一种基于纵向联邦学习的异步优化方法、装置及存储介质，方法包括：参与方对训练样本进行编码，得到编码输出向量并存储至可信数据库，从可信数据库中请求训练期望值，进而基于训练期望值进行训练，可信第三方从可信数据库中读取训练数据，完成聚合模型的训练，得到输入更新向量，存储至可信数据作为编码模型的训练期望值。本申请实施例的技术方案，通过设立存储中间数据的可信数据库，避免参与方之间发生等待现象，同时还有效缓解了参与方和可信第三方之间的等待。

Description

基于纵向联邦学习的异步优化方法、装置及存储介质
技术领域
本申请涉及一种计算机技术领域，提供一种基于纵向联邦学习的异步优化方法、基于纵向联邦学习的异步优化装置、电子设备及计算机可读存储介质。
背景技术
纵向联邦学习在训练时，各个参与方需要在本地完成一部分计算，之后再由可信第三方对输出的数据聚合，由于每个参与方的计算力和数据规模等方面都存在差异，因此在训练时会存在参与方之间的等待现象，降低整个系统的效率，且纵向联邦学习在训练时，参与方中的编码模型和可信第三方的聚合模型是相互依赖的，可信第三方接收到参与方的输出才可以更新聚合模型参数，参与方接收到可信第三方传回的训练偏差才可以更新自身编码模型，因此参与方与可信第三方之间也会造成等待现象。
发明内容
本申请的目的在于提供一种基于纵向联邦学习的异步优化方法、基于纵向联邦学习的异步优化装置、电子设备及计算机可读存储介质，通过设立存储中间数据的可信数据库，避免参与方之间发生等待现象，同时还有效缓解了参与方和可信第三方之间的等待。
本申请提出一种基于纵向联邦学习的异步优化方法，应用于可信第三方，所述方法包括：从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为聚合模型的训练数据；根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量；将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方所需的训练期望值。
进一步地，在所述从可信数据库中请求各参与方对训练样本的编码输出向量之前，所述方法还包括：设立所述可信数据库；通过所述可信数据库存储各参与方发送的对训练样本的编码输出向量。
进一步地，所述根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量，包括：将所述编码输出向量拼接得到所述聚合模型的输入向量；根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量。
进一步地，所述根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量，包括：将所述输入向量输入到所述聚合模型，以得到预测标签；根据所述预测标签和所述训练样本对应的样本标签计算所述聚合模型的损失函数；根据所述损失函数对所述聚合模型的模型参数进行更新，并计算得到所述聚合模型的输入更新向量。
进一步地，所述计算得到所述聚合模型的输入更新向量，包括：根据所述损失函数和所述聚合模型的模型参数计算得到输入偏差值；根据所述编码输出向量和所述输入偏差值计算得到所述输入更新向量。
另一方面，本申请还提出一种基于纵向联邦学习的异步优化方法，应用于参与方，其特征在于，包括：基于编码模型对训练样本进行编码，得到编码输出向量；将所述编码输出向量发送到可信数据库中进行存储，以将所述编码输出向量作为可信第三方的聚合模型的训练数据；从所述可信数据库中请求所述训练样本的训练期望值；根据所述训练期望值对所述编码模型进行训练。
进一步地，所述根据所述训练期望值对所述编码模型进行训练，包括：根据所述编码输出向量和所述训练期望值的距离计算所述编码模型的损失函数；根据所述损失函数对所述编码模型的模型参数进行更新，以训练所述编码模型。
本申请还提出一种基于纵向联邦学习的异步优化装置，所述装置部署于可信第三方，包括：向量请求模块，用于从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为训练数据；模型训练模块，用于根据所述训练数据进行聚合模型的训练，得到所述聚合模型的输入更新向量；数据存储模块，用于将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方所需的训练期望值。
本申请还提出一种基于纵向联邦学习的异步优化装置，所述装置部署于参与方，包括：编码模块，用于基于编码模型对训练样本进行编码，得到编码输出向量；发送模块，用于将所述编码输出向量发送到可信数据库中进行存储，以将所请求的编码输出向量作为可信第三方的聚合模型的训练数据；请求模块，用于从所述可信数据库中请求所述训练样本的训练期望值；训练模块，用于根据所述训练期望值对所述编码模型进行训练。
本申请还提出一种电子设备，所述电子设备包括：一个或多个处理器；存储装置，用于存储一个或多个程序，当所述一个或多个被所述一个或多个处理器执行时，使得所述电子设备实现如上所述的方法。
本申请还提出一种计算机可读存储介质，其上存储有计算机可读指令，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行如上所述的方法。
与现有技术相比，本申请具有如下有益效果：
本申请提供的技术方案中，将参与方的编码模型和可信第三方的聚合模型分开独立训练，参与方对训练样本进行编码，得到编码输出向量并存储至可信数据库，从可信数据库中请求训练期望值，进而基于训练期望值和编码输出向量进行训练，可信第三方从可信数据库中读取训练数据，完成聚合模型的更新，同时计算输入更新向量，存储至可信数据作为编码模型的训练期望值；通过可信数据库，打断编码模型和聚合模型参数更新过程中的直接依赖，使参与方的编码模型与第三方的聚合模型在训练时不再直接关联，参与方等待可信第三方的时间从原先的聚合模型计算时间变为数据库响应的时间，有效降低参与方等待第三方的时间；且参与方的编码模型更新不再依赖聚合模型传回的损失偏差，而是通过聚合模型的输入更新向量来实现独立训练，从而真正同时实现编码模型-编码模型和编码模型-聚合模型之间的异步训练。
附图说明
图1示出了本申请涉及的一种实施环境的示意图；
图2示出了本申请一示例性实施例示出的一种基于纵向联邦学习的异步优化方法的流程图；
图3示出了图2所示实施例中的在步骤S110之前在一示例性实施例中的流程图；
图4示出了图2所示实施例中的步骤S120在一示例性实施例中的流程图；
图5示出了图4所示实施例中的步骤S122在一示例性实施例中的流程图；
图6示出了图2所示实施例中的步骤S530在一示例性实施例中的流程图；
图7示出了本申请另一示例性实施例示出的一种基于纵向联邦学习的异步优化方法的流程图；
图8示出了图7所示实施例中的步骤S740在一示例性实施例中的流程图；
图9示出了本申请涉及的另一种实施环境的示意图；
图10示出了本申请一示例性实施例示出的另一种基于纵向联邦学习的异步优化方法的流程图；
图11示出了本申请一示例性实施例示出的一种部署在可信第三方的基于纵向联邦学习的异步优化装置的结构示意图；
图12示出了本申请一示例性实施例示出的一种部署在参与方的基于纵向联邦学习的异步优化装置的结构示意图；
图13示出了适于用来实现本申请实施例的电子设备的结构示意图。
具体实施方式
这里将详细地对示例性实施例执行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本申请相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本申请的一些方面相一致的装置和方法的例子。
附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
还需要说明的是：在本申请中提及的“多个”是指两个或者两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，A和/或B可以表示：单独存在A，同时存在A和B，单独存在B这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
请参阅图1，图1是本申请涉及的一种实施环境的示意图。该实施环境包括各参与方10、可信第三方20和可信数据库30。
参与方10和可信数据库30通过网络40建立通信连接；可信第三方20和可信数据库30通过网络50建立通信连接，其中，网络40和网络50为不同的网络，网络可以是有线网络，也可以是无线网络，本处也不进行限制。
其中，参与方中设有编码模型，该编码模型用于对参与方的样本数据进行编码；可信第三方中设有聚合模型，该聚合模型用于对所有参与方输出信息进行聚合，以拟合样本标签。
可信数据库30用于存储编码模型和聚合模型训练需要的核心数据：编码模型的训练期望值和聚合模型的训练数据。
可信第三方20，用于从可信数据库中请求各参与方对训练样本的编码输出向量，以作为训练数据；根据训练数据进行聚合模型的训练，得到聚合模型的输入更新向量；将输入更新向量存储在可信数据库中，以将输入更新向量作为各参与方所需的训练期望值。
参与方10，用于基于编码模型对训练样本进行编码，得到编码输出向量；将编码输出向量发送到可信数据库中进行存储，以作为可信第三方的聚合模型的训练数据；从可信数据库中请求训练样本的训练期望值；根据训练期望值对编码模型进行训练。
本申请通过设立存储中间数据的数据库，打断编码模型和聚合模型参数更新过程中的直接依赖，同时实现参与方-参与方和参与方-可信第三方之间的异步训练。
其中，参与方10和可信第三方20可以是独立的物理服务器，也可以是多个物理服务器构成的服务器集群或者分布式系统，还可以是提供云服务、云数据库、云计算、云函数、云存储、网络服务、云通信、中间件服务、域名服务、安全服务、CDN(Content DeliveryNetwork，内容分发网络)以及大数据和人工智能平台等基础云计算服务的云服务器，本处不对此进行限制。
可信数据库30可以是设立可信第三方20中，也可以独立于可信第三方20。
可选的，在一个应用场景中，参与方为不同行业的企业，例如电信运营商和应用程序提供方，可信第三方为权威机关或安全计算节点。
以下基于图1所示的实施环境对基于纵向联邦学习的异步优化方法进行详细说明：
请参阅图2，图2是本申请一示例性实施例示出的一种基于纵向联邦学习的异步优化方法的流程图，该基于纵向联邦学习的异步优化方法由图1所示的可信第三方执行，该基站网关方法包括步骤S110至步骤S130，详细介绍如下：
S110、从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为聚合模型的训练数据。
在本申请实施例中，可信数据库中存储有各参与方对训练样本的编码输出向量。
可信第三方可以请求可信数据库中存储的数据，其中可以是可信第三方直接访问可信数据库，从可信数据库中提取各参与方对应的编码输出向量。也可以是可信第三方发送请求消息，请求消息中携带了可信第三方所请求的数据，进而可信数据库将对应的编码输出向量传输至可信第三方。
在本申请实施例中，各参与方对应的训练样本可以相同，也可以不同，但各参与方对训练样本的编码输出向量不同，进而将各编码输出向量作为聚合模型的训练数据。
可选的，聚合模型可以任意具有拟合功能的模型，例如单层神经网络模型。
S120、根据训练数据进行聚合模型的训练，得到聚合模型的输入更新向量。
在本申请实施例中，可信第三方无需等待参与方的任务请求，可以直接从可信数据库中取出编码输出向量作为训练数据，进而进行聚合模型的训练。
需要说明的是，聚合模型在训练时，会得到聚合模型的输入更新向量，该输入更新向量指的是相对于聚合模型的输入向量的向量更新值，其中，该输入更新向量可以是根据训练数据对聚合模型进行训练，更新聚合模型后，基于更新后的聚合模型所计算得到的；也可以是在对聚合模型的训练过程中所计算得到的。
S130、将输入更新向量存储在可信数据库中，以将输入更新向量作为各参与方所需的训练期望值。
在本申请实施例中，可信第三方在得到输入更新向量后，将输入更新向量传输至可信数据库中进行存储，进而各参与方后续从可信数据库中请求该输入更新向量，并作为各参与方所需的训练期望值。
在一示例中，对于不同的参与方，输入更新向量可以相同，也可以不同。
本申请实施例中，引入存储编码输出和聚合输入更新值的数据库，通过该数据库，有效分割编码模型和聚合模型训练时的直接关联，使二者的模型更新异步进行，聚合模型训练时，无需等待参与方的任务请求，直接从可信数据库中读取训练数据，完成聚合模型的更新，同时计算输入更新值，作为编码模型的期望值。
值得注意的是，可信数据库可以设于独立的数据服务器中。可信第三方与数据服务器进行交互，请求数据服务器中可信数据库所存储的各参与方对训练样本的编码输出向量。
可选的，该可信数据库还可以设于可信第三方中。如图3所示，图3示出了图2所示实施例中的步骤S110之前在一示例性实施例中的流程图，包括：
S101、设立可信数据库。
S102、通过可信数据库存储各参与方发送的对训练样本的编码输出向量。
在本申请实施例中，由可信第三方搭建存储训练中心数据的可信数据库。各个参与方向可信第三方的可信数据库提交训练样本的编码输出向量，进而可信数据库存储各编码输出向量。
当可信第三方的聚合模型需要训练时，从可信数据库中请求编码输出向量。
在本申请实施例的一个可选示例中，在设立可信数据库后，可信数据库未存储任何数据，此时，可以采用同步训练方式初始化可信数据库中的训练中间数据。
例如在纵向联邦学习中，每个参与方都拥有共同的样本对象，但关于样本的特征数据互不相同，各参与方通过编码模型对第一训练样本进行编码，并将初始编码输出向量发送至可信数据库进行存储，可信第三方从可信数据库请求全部参与方的编码输出向量，对聚合模型进行训练得到各参与方的损失偏差，并将损失偏差存储在可信数据库，各参与方从可信数据库中请求损失偏差，并更新自身的编码模型。
通过上述过程，可信数据库中存储了初始数据，即全部参与方的编码输出向量和各参与方的损失偏差。进而后续模型训练，即进行模型迭代更新时，参与方提交第二训练样本的编码输出向量后，可信数据库更新当前样本的数值；可信第三方从可信数据库中请求所有参与方对第二训练样本的编码输出向量，可信数据库返回所需数据，进而可信第三方对聚合模型进行更新，得到输入更新向量，并更新到可信数据库中，作为参与方的编码模型的训练期望值。
在本申请实施例中，通过可信数据库的引入，使参与方的编码模型与第三方的聚合模型在训练时不再直接关联。
可选的，如图4所示，图4示出了图2所示实施例中的在步骤S120在一示例性实施例中的流程图，其中，根据训练数据进行聚合模型的训练，得到聚合模型的输入更新向量的过程包括：
S121、将编码输出向量拼接得到聚合模型的输入向量。
需要说明的是，在本申请实施例中，聚合模型的输入向量是由参与方的编码输出向量拼接得到的，其中，可以是将各参与方的编码输出向量首尾拼接得到输入向量。
S122、根据聚合模型的输入向量对聚合模型进行更新，同时计算输入更新向量。
在本申请实施例中，将输入向量输入到聚合模型中进行训练，聚合模型在更新自身模型参数时，同时计算输入更新向量，即输入的更新值。
可选的，如图5所示，图5为图4所示的步骤S122在一示例性实施例中的流程图，其中，根据聚合模型的输入向量对聚合模型进行更新，同时计算输入更新向量的过程包括：
S510、将输入向量输入到聚合模型，以得到预测标签。
将输入向量输入到聚合模型，聚合模型对输入向量进行聚合，拟合得到预测标签，该预测标签是针对于输入向量所预测的样本标签。
可选的，预测标签hn,1,…,hn,m,…,hn,M为各参与方输出的编码输出向量，[hn,1,…,hn,m,…,hn,M]为将编码输出向量拼接得到的聚合模型输入向量。
S520、根据预测标签和训练样本对应的样本标签计算聚合模型的损失函数。
可以理解的是，训练样本为携带标签的样本，训练样本对应一个实际的样本标签，基于所预测的样本标签和训练样本对应的样本标签可计算聚合模型的损失函数。
可选的，聚合模型的损失函数为：其中/>为聚合模型的预测标签，yn为样本标签。
S530、根据损失函数对聚合模型的模型参数进行更新，并计算得到聚合模型的输入更新向量。
在本申请实施例中，在计算得到聚合模型的损失函数后，通过损失函数对聚合模型的模型参数进行更新，使得聚合模型的预测标签尽可能靠近样本标签，当聚合模型收敛时，此时聚合模型的模型参数最优。
可以理解的是，损失函数用于估量模型的预测标签和实际标签的不一致程度，因此在计算得到损失函数后，还可以基于预测标签和实际标签的不一致程度计算相对于输入向量的更新向量值。
可选的，如图6所示，图6为图5所示的步骤S530在一示例性实施例中的流程图，计算得到聚合模型的输入更新向量的过程包括：
S531、根据损失函数和聚合模型的模型参数计算得到输入偏差值。
在本申请实施例中，基于对损失函数的偏导值和聚合模型的模型参数的偏导值计算的输入偏差值，其中该聚合模型的模型参数可以是聚合模型更新前的模型参数。
可选的，其中输入偏差值为[Δhn,1,…,Δhn,m,…,Δhm,M]，/>为聚合模型的模型参数的偏导值。
S532、根据编码输出向量和输入偏差值计算得到输入更新向量。
在本申请实施例的一示例中，基于编码输出向量所拼接的输入向量和输入偏差值之间的差值计算得到输入更新向量。例如：其中λ0是聚合模型的学习率，进而每个参与方对应的输入更新向量相同。
在本申请实施例的另一示例中，针对每个参与方，由于编码输出向量不同，因此可计算得到各参与方对应的输入更新向量。
可选的，针对指定参与方，基于聚合模型的输入偏差值计算得到参与方对应的编码输出偏差值，其中，可以将输入偏差值进行解拼接，根据编码输出向量拼接顺序解拼接，得到参与方对应的编码输出偏差值，基于参与方的编码输出向量和参与方对应的编码输出偏差值之间的差值计算得到输入更新向量。
例如输入更新向量其中λ0是聚合模型的学习率，Δhn,m为参与方对应的编码输出偏差值，进而每个参与方对应的输入更新向量不同。
图2至图6所示的基于纵向联邦学习的异步优化方法是从可信第三方的角度进行的阐述，以下结合图7至图8从参与方的角度对本申请实施例的技术方案的实现细节进行详细阐述：
如图7所示，图7是本申请一示例性实施例示出的一种基于纵向联邦学习的异步优化方法的流程图，该基于纵向联邦学习的异步优化方法由图1所示的参与方执行，该基于纵向联邦学习的异步优化方法包括步骤S710至步骤S740，详细介绍如下：
S710、基于编码模型对训练样本进行编码，得到编码输出向量。
在本申请实施例中，编码模型可以是任何具有编码功能的模型，例如该编码模型可以是单层神经网络模型。各个参与方对应的编码模型可以相同，训练样本也可以相同，将训练样本输入到编码模型，通过编码模型得到训练样本的编码输出向量不同。
S720、将编码输出向量发送到可信数据库中进行存储，以将编码输出向量作为可信第三方的聚合模型的训练数据。
如前所述，可信第三方用于存储各参与方的编码输出向量和聚合模型计算的输入更新向量，因此参与方在计算得到编码输出向量后，存储至可信数据库中，进而后续可信第三方将该编码输出向量作为可信第三方的聚合模型的训练数据。
S730、从可信数据库中请求训练样本的训练期望值。
如前所述，可信第三方将聚合模型的输入更新向量存储在可信数据库中，可信第三方的聚合模型输入等价于编码模型输出，因此将聚合模型的输入更新向量作为编码模型针对训练样本的训练期望值，进而参与方从可信数据库中请求聚合模型的输入更新向量。
S740、根据训练期望值对编码模型进行训练。
值得注意的是，训练期望值即编码模型的训练目标，进而可基于训练目标对编码模型进行训练，使编码模型的输出尽可能接近目标。
参与方在进行编码模型的训练时，从可信数据库中读取训练期望值，通过拟合聚合模型输入的更新向量来实现独立训练，打断编码模型和聚合模型参数更新过程中的直接依赖。
可选的，如图8所示，图8为图7所示的步骤S740在一示例性实施例中的流程图，其中，根据训练期望值对编码模型进行训练的过程包括：
S741、根据编码输出向量和训练期望值的距离计算编码模型的损失函数。
在本申请实施例的一示例中，损失函数选取平方差函数，即选用欧式距离衡量编码模型输出向量与聚合模型输入更新向量之间的相似度，优化目标是尽可能缩小二者之间的差距。
可选的，编码模型的损失函数为：其中/>为训练期望值，hn,m为参与方的编码输出向量。
在本申请实施例的另一示例中，损失函数还可以采用交叉熵函数，还可以采用L1、L2距离回归损失函数等。
S742、根据损失函数对编码模型的模型参数进行更新，以训练编码模型。
在本申请实施例中，在计算得到编码模型的损失函数后，通过损失函数对编码模型的模型参数进行更新，使得编码模型的编码输出向量与输入更新向量的距离尽可能小，当编码模型收敛时，此时编码模型的模型参数最优。
在本申请实施例中，参与方的编码模型更新不再依赖聚合模型传回的损失偏差，而是通过构建平方差损失函数实现独立训练，因此避免了各个参与方之间的等待现象。
当前的向联邦学习在训练中主要使用同步的方式，即各参与方同步更新自身的模型参数，但在实际情况中，因为每方的数据规模，计算能力和网络情况都不一致，这种训练方式容易形成参与方之间的等待现象，导致系统整体计算效率不高，为解决同步训练的所存在等待，本实施例提出一种新的针对纵向联邦学习的异步优化方法。
为了便于理解，本实施例以一个较为具体的示例对基于纵向联邦学习的异步优化方法进行说明。该基于纵向联邦学习的异步优化方法旨在通过设立存储中间数据的数据库，打破编码模型和聚合模型的训练时的直接依赖，二者独立训练，实现异步联邦训练。
首先，可信第三方搭建存储训练中间数据的可信数据库，该可信数据库存储参与方的编码模型的编码输出向量和聚合模型的输入更新向量。
该可信数据库的请求访问机制：
参与方提交样本的编码输出后，可信数据库更新当前样本的数值，之后传回当前样本的目标值；
可信第三方从可信数据库中请求所有参与方对当前训练样本的编码输出，可信数据库返回所需数据；
可信第三方经过训练得到聚合模型输入的更新值，将其更新到可信数据库，以作为当前样本的目标值。
如图9所示，图9为本申请实施例涉及的一种系统结构示意图，C1，C2和C3为各参与方，A为聚合模型，DB为可信数据库，聚合模型和可信数据位于可信第三方中。
应当理解的是，在搭建可信数据库DB，可进行数据库初始化，第一轮时采用同步训练方式初始化中的训练中间数据。具体的，各参与方计算编码输出并发送到可信第三方的DB进行存储，聚合模型A从DB从请求所有参与方对当前训练样本的编码输出后，开始进行训练，得到各方的损失偏差，并存储在DB，参与方从DB中请求损失偏差后更新自身编码模型，更新会后的模型作为下一轮迭代的编码模型。
在后续轮次训练时，参与方独立训练编码模型，编码模型要能独立训练，需要两个要素：目标值和损失函数。可信第三方在训练聚合模型时，会同对其输入根据反向传播定理计算一个输入更新向量。在训练时，参与方完成编码输出后，上传可信数据库，从可信数据库中请求聚合模型的输入更新向量，将该聚合模型的输入更新向量作为编码模型训练时的目标值，之后便可独立完成自身模型参数更新，即使用损失函数训练模型，损失函数选取平方差函数，即选用欧式距离衡量编码模型输出向量与聚合模型输入更新向量之间的相似度，优化目标是尽可能缩小二者之间的差距。
例如，每个参与方m的编码模型都是单层神经网络模型θm，可信第三方的聚合模型也是单层神经网络模型θ0。样本n在参与方m中的特征表示为Xn,m，对应标签为yn。基于图9所示的环境，本申请实施例还提供一种基于纵向联邦学习的异步优化的方法，如图10所示，该方法包括：
编码模型训练过程：
S1010、编码。
hn,m＝θm(Xn,m)
S1020、发送hn,m(即前述的编码输出向量)到可信数据库。
S1030、接收可信数据库传回的训练期望值
S1040、计算损失，更新模型参数。
对于可信第三方的聚合模型来说，聚合模型训练时无需等待参与方的任务请求，直接从可信数据库中取出当前样本的各个参与方编码输出，训练时除了更新自身模型参数外，需同时计算当前的输入更新向量，并保存到数据库中，作为参与方编码模型训练时的训练期望值。
聚合模型训练过程：
S1050、从可信数据库中取出与样本n对应的所有参与方编码输出向量。
S1060、拼接所有参与方编码输出向量后进行训练。
S1070、计算损失和输入更新向量。
λ0是聚合模型的学习率。
S1080、将输入更新向量传输至可信数据库存储。
值得注意的是，编码模型的训练和聚合模型的训练可以同时进行，即步骤S1010和步骤S1050之间的顺序关系可以是步骤S1010和S1050同时进行，也可以是具有先后关系，在此不进行限定。
本申请实施例提供的方法，参与方的编码模型更新不再依赖聚合模型传回的损失偏差，而是通过构建平方差损失函数实现独立训练，因此避免了各个参与方之间的等待现象，且在纵向联邦学习系统中引入存储编码输出和聚合输入更新向量的数据库，通过该数据库，有效分割编码模型和聚合模型训练时的直接依赖，使二者的模型更新异步进行，参与方等待可信第三方的时间从原先的聚合模型计算时间变为数据库响应的时间，有效降低参与方等待第三方的时间，通过本申请实施例提供的方法，在保证模型性能不损耗的前提下，充分利用服务器的计算资源，提高纵向联邦学习的计算速度。
以下介绍本申请的装置实施例，可以用于执行本申请上述实施例中的基于纵向联邦学习的异步优化方法。对于本申请装置实施例中未披露的细节，请参照本申请上述的基于纵向联邦学习的异步优化方法的实施例。
如图11所示，图11是本申请的一示例性实施例示出的一种基于纵向联邦学习的异步优化装置的结构示意图，该装置部署于可信第三方，装置包括：
向量请求模块1110，用于从可信数据库中请求各参与方对训练样本的编码输出向量，以将所请求的编码输出向量作为训练数据；
模型训练模块1120，用于根据训练数据进行聚合模型的训练，得到聚合模型的输入更新向量；
数据存储模块1130，用于将输入更新向量存储在可信数据库中，以将输入更新向量作为各参与方所需的训练期望值。
在本申请的一些实施例中，基于前述方案，设立模块，用于设立可信数据库；通过可信数据库存储各参与方发送的对训练样本的编码输出向量。
在本申请的一些实施例中，基于前述方案，模型训练模块1120进一步用于将编码输出向量拼接得到聚合模型的输入向量；根据聚合模型的输入向量对聚合模型进行更新，同时计算输入更新向量。
在本申请的一些实施例中，基于前述方案，模型训练模块1120进一步用于将输入向量输入到聚合模型，以得到预测标签；根据预测标签和训练样本对应的样本标签计算聚合模型的损失函数；根据损失函数对聚合模型的模型参数进行更新，并计算得到聚合模型的输入更新向量。
在本申请的一些实施例中，基于前述方案，模型训练模块1120进一步用于根据损失函数和聚合模型的模型参数计算得到输入偏差值；根据编码输出向量和输入偏差值计算得到输入更新向量。
如图12所示，图12是本申请的一示例性实施例示出的一种基于纵向联邦学习的异步优化装置的结构示意图，该装置部署于参与方，装置包括：
编码模块1210，用于基于编码模型对训练样本进行编码，得到编码输出向量；
发送模块1220，用于将编码输出向量发送到可信数据库中进行存储，以将所请求的编码输出向量作为可信第三方的聚合模型的训练数据；
请求模块1230，用于从可信数据库中请求训练样本的训练期望值；
训练模块1240，用于根据训练期望值对编码模型进行训练。
在本申请的一些实施例中，基于前述方案，训练模块1240进一步用于根据编码输出向量和训练期望值计算编码模型的损失函数；根据损失函数对编码模型的模型参数进行更新，以训练编码模型。
需要说明的是，上述实施例所提供的装置与上述实施例所提供的方法属于同一构思，其中各个模块和单元执行操作的具体方式已经在方法实施例中进行了详细描述，此处不再赘述。
本申请实施例的装置，通过可信数据库，打断编码模型和聚合模型参数更新过程中的直接依赖，使参与方的编码模型与第三方的聚合模型在训练时不再直接关联，参与方等待可信第三方的时间从原先的聚合模型计算时间变为数据库响应的时间，有效降低参与方等待第三方的时间；且参与方的编码模型更新不再依赖聚合模型传回的损失偏差，而是通过聚合模型的输入更新向量来实现独立训练，从而真正同时实现编码模型-编码模型和编码模型-聚合模型之间的异步训练。
在一示例性实施例中，一种电子设备，包括一个或多个处理器；存储装置，用于存储一个或多个程序，当一个或多个被一个或多个处理器执行时，使得电子设备实现如前所述的方法。可以理解的是，该电子设备可以部署在可信第三方内，也可以部署在参与方内。
图13是根据一示例性实施例示出的一种电子设备的结构示意图。
需要说明的是，该电子设备只是一个适配于本申请的示例，不能认为是提供了对本申请的使用范围的任何限制。该电子设备也不能解释为需要依赖于或者必须具有图13中示出的示例性的电子设备中的一个或者多个组件。
如图13所示，在一示例性实施例中，电子设备包括处理组件1301、存储器1302、电源组件1303、多媒体组件1304、音频组件1305、处理器1306、传感器组件1307和通信组件1308。其中，上述组件并不全是必须的，电子设备可以根据自身功能需求增加其他组件或减少某些组件，本实施例不作限定。
处理组件1301通常控制电子设备的整体操作，诸如与显示、数据通信以及日志数据同步相关联的操作等。处理组件1301可以包括一个或多个处理器1306来执行指令，以完成上述操作的全部或部分步骤。此外，处理组件1301可以包括一个或多个模块，便于处理组件1301和其他组件之间的交互。例如，处理组件1301可以包括多媒体模块，以方便多媒体组件1304和处理组件1301之间的交互。
存储器1302被配置为存储各种类型的数据以支持在电子设备的操作，这些数据的示例包括用于在电子设备上操作的任何应用程序或方法的指令。存储器1302中存储有一个或多个模块，该一个或多个模块被配置成由该一个或多个处理器1306执行，以完成上述实施例中所描述的方法中的全部或者部分步骤。
电源组件1303为电子设备的各种组件提供电力。电源组件1303可以包括电源管理系统，一个或多个电源，及其他与为电子设备生成、管理和分配电力相关联的组件。
多媒体组件1304包括在电子设备和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括TP(Touch Panel，触摸面板)和LCD(Liquid Crystal Display，液晶显示器)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。
音频组件1305被配置为输出和/或输入音频信号。例如，音频组件1305包括一个麦克风，当电子设备处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。在一些实施例中，音频组件1305还包括一个扬声器，用于输出音频信号。
传感器组件1307包括一个或多个传感器，用于为电子设备提供各个方面的状态评估。例如，传感器组件1307可以检测到电子设备的打开/关闭状态，还可以检测电子设备的温度变化。
通信组件1308被配置为便于电子设备和其他设备之间有线或无线方式的通信。电子设备可以接入基于通信标准的无线网络，例如Wi-Fi(Wireless-Fidelity，无线网络)。
可以理解，图13所示的结构仅为示意，电子设备可以包括比图13中所示更多或更少的组件，或者具有与图13所示不同的组件。图13中所示的各组件均可以采用硬件、软件或者其组合来实现。
在一示例性实施例中，一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器执行时实现如前所述所述的方法。该计算机可读存储介质可以是上述实施例中描述的电子设备中所包含的，也可以是单独存在，而未装配入该电子设备中。
需要说明的是，本申请实施例所示的计算机可读存储介质例如可以是电、磁、光、电磁、红外线、或半导体的系统、装置或器件，或者任意以上的组合。计算机可读存储介质的更具体的例子可以包括但不限于：具有一个或多个导线的电连接、便携式计算机磁盘、硬盘、随机访问存储器(RAM)、只读存储器(ROM)、可擦式可编程只读存储器(ErasableProgrammable Read Only Memory，EPROM)、闪存、光纤、便携式紧凑磁盘只读存储器(Compact Disc Read-Only Memory，CD-ROM)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本申请中，计算机可读存储介质可以是任何包含或存储程序的有形介质，该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
本领域技术人员在考虑说明书及实践这里公开的实施方式后，将容易想到本申请的其它实施方案。本申请旨在涵盖本申请的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本申请的一般性原理并包括本申请未公开的本技术领域中的公知常识或惯用技术手段。
上述内容，仅为本申请的较佳示例性实施例，并非用于限制本申请的实施方案，本领域普通技术人员根据本申请的主要构思和精神，可以十分方便地进行相应的变通或修改，故本申请的保护范围应以权利要求书所要求的保护范围为准。

Claims (10)

1.一种基于纵向联邦学习的异步优化方法，其特征在于，应用于可信第三方，所述方法包括：
从可信数据库中请求各参与方通过编码模型对训练样本进行编码所得到的编码输出向量，以将所请求的编码输出向量作为可信第三方的聚合模型的训练数据；
根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量，输入更新向量指的是相对于聚合模型的输入向量的向量更新值；
将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方的编码模型所需的训练期望值，使得各参与方根据所述训练期望值和所述编码输出向量对所述编码模型进行训练。
2.根据权利要求1所述的方法，其特征在于，所述从可信数据库中请求各参与方对训练样本的编码输出向量之前，所述方法还包括：
设立所述可信数据库；
通过所述可信数据库存储各参与方发送的对训练样本的编码输出向量。
3.根据权利要求1所述的方法，其特征在于，所述根据所述训练数据进行所述聚合模型的训练，得到所述聚合模型的输入更新向量，包括：
将所述编码输出向量拼接得到所述聚合模型的输入向量；
根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量。
4.根据权利要求3所述的方法，其特征在于，所述根据所述聚合模型的输入向量对所述聚合模型进行更新，同时计算所述输入更新向量，包括：
将所述输入向量输入到所述聚合模型，以得到预测标签；
根据所述预测标签和所述训练样本对应的样本标签计算所述聚合模型的损失函数；
根据所述损失函数对所述聚合模型的模型参数进行更新，并计算得到所述聚合模型的输入更新向量。
5.根据权利要求4所述的方法，其特征在于，所述计算得到所述聚合模型的输入更新向量，包括：
根据所述损失函数和所述聚合模型的模型参数计算得到输入偏差值；
根据所述编码输出向量和所述输入偏差值计算得到所述输入更新向量。
6.一种基于纵向联邦学习的异步优化方法，其特征在于，应用于参与方，其特征在于，包括：
基于编码模型对训练样本进行编码，得到编码输出向量；
将所述编码输出向量发送到可信数据库中进行存储，以将所述编码输出向量作为可信第三方的聚合模型的训练数据；
从所述可信数据库中请求所述训练样本的训练期望值，所述训练期望值为根据所述训练数据进行聚合模型的训练所得到聚合模型的输入更新向量，输入更新向量指的是相对于聚合模型的输入向量的向量更新值；
根据所述训练期望值和所述编码输出向量对所述编码模型进行训练。
7.根据权利要求6所述的方法，其特征在于，所述根据所述训练期望值对所述编码模型进行训练，包括：
根据所述编码输出向量和所述训练期望值计算所述编码模型的损失函数；
根据所述损失函数对所述编码模型的模型参数进行更新，以训练所述编码模型。
8.一种基于纵向联邦学习的异步优化装置，其特征在于，所述装置部署于可信第三方，包括：
向量请求模块，用于从可信数据库中请求各参与方通过编码模型对训练样本进行编码所得到的编码输出向量，以将所请求的编码输出向量作为可信第三方的聚合模型的训练数据；
模型训练模块，用于根据所述训练数据进行聚合模型的训练，得到所述聚合模型的输入更新向量，输入更新向量指的是相对于聚合模型的输入向量的向量更新值；
数据存储模块，用于将所述输入更新向量存储在所述可信数据库中，以将所述输入更新向量作为各参与方的编码模型所需的训练期望值，使得各参与方根据所述训练期望值和所述编码输出向量对所述编码模型进行训练。
9.一种基于纵向联邦学习的异步优化装置，其特征在于，所述装置部署于参与方，包括：
编码模块，用于基于编码模型对训练样本进行编码，得到编码输出向量；
发送模块，用于将所述编码输出向量发送到可信数据库中进行存储，以将所请求的编码输出向量作为可信第三方的聚合模型的训练数据；
请求模块，用于从所述可信数据库中请求所述训练样本的训练期望值，所述训练期望值为根据所述训练数据进行聚合模型的训练所得到聚合模型的输入更新向量，输入更新向量指的是相对于聚合模型的输入向量的向量更新值；
训练模块，用于根据所述训练期望值和所述编码输出向量对所述编码模型进行训练。
10.一种计算机可读存储介质，其特征在于，其上存储有计算机可读指令，当所述计算机可读指令被计算机的处理器执行时，使计算机执行权利要求1至5中的任一项所述的方法，或执行权利要求6至7中的任一项所述的方法。
CN202210796965.0A 2022-07-05 2022-07-05 基于纵向联邦学习的异步优化方法、装置及存储介质 Active CN114996317B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202210796965.0A CN114996317B (zh) 2022-07-05 2022-07-05 基于纵向联邦学习的异步优化方法、装置及存储介质

Applications Claiming Priority (1)

Application Number Priority Date Filing Date Title
CN202210796965.0A CN114996317B (zh) 2022-07-05 2022-07-05 基于纵向联邦学习的异步优化方法、装置及存储介质

Publications (2)

Publication Number Publication Date
CN114996317A CN114996317A (zh) 2022-09-02
CN114996317B true CN114996317B (zh) 2024-02-23

Family

ID=83019884

Family Applications (1)

Application Number Title Priority Date Filing Date
CN202210796965.0A Active CN114996317B (zh) 2022-07-05 2022-07-05 基于纵向联邦学习的异步优化方法、装置及存储介质

Country Status (1)

Country Link
CN (1) CN114996317B (zh)

Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
CN112328617A (zh) * 2020-11-19 2021-02-05 杭州趣链科技有限公司 纵向联邦学习的学习模式参数更新方法和电子装置
CN112686370A (zh) * 2020-12-25 2021-04-20 深圳前海微众银行股份有限公司 网络结构搜索方法、装置、设备、存储介质及程序产品
CN112801301A (zh) * 2021-01-29 2021-05-14 深圳前海微众银行股份有限公司 异步计算方法、装置、设备、存储介质及程序产品
WO2021114618A1 (zh) * 2020-05-14 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、计算机设备及可读存储介质
WO2021121106A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 基于联邦学习的个性化推荐方法、装置、设备及介质
WO2021120677A1 (zh) * 2020-07-07 2021-06-24 平安科技（深圳）有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
CN113886382A (zh) * 2021-08-23 2022-01-04 阿里云计算有限公司 数据库任务处理方法、设备及存储介质
CN113887739A (zh) * 2021-10-19 2022-01-04 深圳前海微众银行股份有限公司 模型参数确定方法、装置、设备及存储介质
CN114118442A (zh) * 2021-11-24 2022-03-01 中国电信股份有限公司 基于纵向联邦学习的模型训练方法、系统、设备及介质

Family Cites Families (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US11373115B2 (en) * 2018-04-09 2022-06-28 Here Global B.V. Asynchronous parameter aggregation for machine learning

Patent Citations (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
WO2021004551A1 (zh) * 2019-09-26 2021-01-14 深圳前海微众银行股份有限公司 纵向联邦学习系统优化方法、装置、设备及可读存储介质
WO2021121106A1 (zh) * 2019-12-20 2021-06-24 深圳前海微众银行股份有限公司 基于联邦学习的个性化推荐方法、装置、设备及介质
WO2021114618A1 (zh) * 2020-05-14 2021-06-17 平安科技（深圳）有限公司 联邦学习方法、装置、计算机设备及可读存储介质
WO2021120677A1 (zh) * 2020-07-07 2021-06-24 平安科技（深圳）有限公司 一种仓储模型训练方法、装置、计算机设备及存储介质
CN112328617A (zh) * 2020-11-19 2021-02-05 杭州趣链科技有限公司 纵向联邦学习的学习模式参数更新方法和电子装置
CN112686370A (zh) * 2020-12-25 2021-04-20 深圳前海微众银行股份有限公司 网络结构搜索方法、装置、设备、存储介质及程序产品
CN112801301A (zh) * 2021-01-29 2021-05-14 深圳前海微众银行股份有限公司 异步计算方法、装置、设备、存储介质及程序产品
CN113886382A (zh) * 2021-08-23 2022-01-04 阿里云计算有限公司 数据库任务处理方法、设备及存储介质
CN113887739A (zh) * 2021-10-19 2022-01-04 深圳前海微众银行股份有限公司 模型参数确定方法、装置、设备及存储介质
CN114118442A (zh) * 2021-11-24 2022-03-01 中国电信股份有限公司 基于纵向联邦学习的模型训练方法、系统、设备及介质

Non-Patent Citations (1)

* Cited by examiner, † Cited by third party
Title
联邦学习及其在电信行业的应用;李鉴;邵云峰;卢燚;吴骏;;信息通信技术与政策(09);全文 *

Also Published As

Publication number Publication date
CN114996317A (zh) 2022-09-02

Similar Documents

Publication Publication Date Title
CN100465939C (zh) 适用于设备资源的基于身份的分布式计算系统
US8533261B2 (en) Extensible and programmable multi-tenant service architecture
RU2534966C2 (ru) Устройство, система и способ предоставления распределенных онлайн-услуг
CN112434818B (zh) 模型构建方法、装置、介质及电子设备
US20210089517A1 (en) Communication device and communication system
CN112351350B (zh) 一种内容显示方法、装置、系统、设备及存储介质
WO2022188534A1 (zh) 信息推送的方法和装置
US20220171011A1 (en) Positioning method and device, server, storage medium and terminal
WO2023284387A1 (zh) 基于联邦学习的模型训练方法、装置、系统、设备和介质
CN114996317B (zh) 基于纵向联邦学习的异步优化方法、装置及存储介质
CN114760308A (zh) 边缘计算卸载方法及装置
CN116886718A (zh) 基于交易权重的数据存储方法及装置
CN113746943B (zh) 用于传输数据的方法和装置、服务器、物联网系统
US20240160505A1 (en) Method of processing agreement task
CN109660988A (zh) 通信鉴权处理方法、装置及电子设备
CN116775267A (zh) 资源配额方法、装置、设备及存储介质
CN109656535B (zh) 基于浏览器的语音技能离线开发方法
CN113342811A (zh) HBase表格数据处理方法及装置
CN109951316B (zh) 应用程序的管理方法、装置、计算机可读介质及电子设备
CN116521377B (zh) 业务计算卸载方法、系统、装置、设备及介质
CN114528589B (zh) 基于区块链的户外媒体生态管理系统与方法
CN113961792B (zh) 一种资源推荐系统、方法、电子设备及存储介质
US20230376628A1 (en) Privacy Manager for Connected TV and Over-the-Top Applications
CN114154644A (zh) 一种机器学习数据处理方法及装置
KR20240071984A (ko) 중간 레이어 표현 정규화를 이용하는 연합학습에서의 데이터 이질성 방지를 위한 장치 및 방법

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant