CN107871160A - 通信高效联合学习 - Google Patents

通信高效联合学习 Download PDF

Info

Publication number
CN107871160A
CN107871160A CN201710874932.2A CN201710874932A CN107871160A CN 107871160 A CN107871160 A CN 107871160A CN 201710874932 A CN201710874932 A CN 201710874932A CN 107871160 A CN107871160 A CN 107871160A
Authority
CN
China
Prior art keywords
matrix
computing device
renewal
client computing
client
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201710874932.2A
Other languages
English (en)
Other versions
CN107871160B (zh
Inventor
休·布伦丹·麦克马汉
大卫·莫里斯·培根
雅各布·科内奇尼
于鑫楠
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Google LLC
Original Assignee
Google LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Google LLC filed Critical Google LLC
Priority to CN202110974303.3A priority Critical patent/CN113837357A/zh
Publication of CN107871160A publication Critical patent/CN107871160A/zh
Application granted granted Critical
Publication of CN107871160B publication Critical patent/CN107871160B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/16—Matrix or vector computation, e.g. matrix-matrix or matrix-vector multiplication, matrix factorization
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0495—Quantised networks; Sparse networks; Compressed networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F7/00—Methods or arrangements for processing data by operating upon the order or content of the data handled
    • G06F7/58—Random or pseudo-random number generators
    • G06F7/582—Pseudo-random number generators
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Computing Systems (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Algebra (AREA)
  • Medical Informatics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Probability & Statistics with Applications (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Operations Research (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Information Transfer Between Computers (AREA)
  • Compression, Expansion, Code Conversion, And Decoders (AREA)

Abstract

本申请涉及通信高效联合学习。本公开提供一种用于在诸如例如联合学习框架的机器学习框架内传输模型更新的有效率通信技术，该联合学习框架中在大量客户端上分布的训练数据上训练高品质集中化模型，每个客户端具有不可靠的网络连接和低计算能力。在一个示例联合学习设置下，在多轮中的每一轮中，每个客户端独立地基于其本地数据来更新模型并且将更新的模型传送回到服务器，其中所有客户端侧更新被用来更新全局模型。本公开提供降低通信成本的系统和方法。特别地，本公开提供至少：结构化更新方案，其中模型更新被约束为小并且为概略的更新方案，其中，模型更新在发送到服务器之前被压缩。

Description

通信高效联合学习
技术领域
本公开大体涉及机器学习。更具体地，本公开涉及通信高效联合学习。
背景技术
随着数据集越来越大，模型越来越复杂，机器学习越来越多地需要在多台机器上分布模型参数的优化。现有机器学习算法通常仅适用于受控环境(诸如数据中心)，其中数据在机器间适当地分布，并且高吞吐量光纤网络可用。
发明内容
本公开的实施例的方面和优点将部分地在下文的描述中阐述，或者可以从说明书中学习，或者可以通过实践实施例而学习。
本公开的一个示例方面针对于一种用于通信高效机器学习的计算机实现的方法。该方法包括：由客户端计算设备获得机器学习模型的参数集的全局值。该方法包括：由客户端计算设备至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，更新矩阵描述机器学习模型的参数集的经更新值。更新矩阵被约束为具有预定义的结构。本地数据集由客户端计算设备本地存储。该方法包括：由客户端计算设备将描述更新矩阵的信息传送到服务器计算设备。
本公开的另一示例方面涉及一种客户端计算设备。该客户端设备包括至少一个处理器；以及，存储指令的至少一个非暂时计算机可读介质，该指令在由至少一个处理器执行时使得客户端计算设备执行操作。该操作包括获得机器学习模型的参数集的全局值。该操作包括：至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，该更新矩阵描述机器学习模型的参数集的经更新值。本地数据集由客户端计算设备本地存储。该操作包括编码更新矩阵以获得经编码更新。该操作包括将经编码更新传送到服务器计算设备。
本公开的另一示例方面涉及存储指令的至少一个非暂时性计算机可读介质，该指令在由客户端计算设备执行时使得客户端计算设备实现操作。该操作包括获得机器学习模型的参数集的全局值。该操作包括至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，该更新矩阵描述机器学习模型的参数集的经更新值。本地数据集由客户端计算设备本地存储。更新矩阵被约束为低秩矩阵和稀疏矩阵中的至少一种。该操作包括编码更新矩阵以获得经编码更新。操作包括将经编码更新传送到服务器计算设备。
本公开的其它方面涉及各种系统、装置、非暂时性计算机可读介质、用户界面、和电子设备。
在本说明书中描述的主题的特定实施例可以被实现以便达到以下技术效果中的一个或多个。例如，在各个实施方式中，可以通过在多个客户端计算设备(例如，用户移动设备)上本地训练机器学习模型来实现有效率处理，从而充分利用多个设备的计算能力。此外，由客户端计算设备基于本地数据集来训练机器学习模型，可以提高训练过程的安全性。这是因为，例如，模型更新的信息相较于数据本身较不敏感。隐私敏感的用户数据保留在用户的计算设备上，并且不会上传到服务器。相反，只有较不敏感的模型更新被传输。
此外，由于互联网连接的不对称性质，从客户端到服务器的上行链路可能比从服务器到客户端的下行链路更慢，使得每个客户端设备传输完整的、无限制模型可能是没有效率的。然而，通过根据各个实施例(例如通过将更新矩阵约束为低秩矩阵和稀疏矩阵中的至少一个)来限制更新矩阵具有预定义的结构，达到了机器学习框架内的更有效率通信，例如从网络的角度、从客户端设备工作负荷/资源的角度、和/或从试图执行尽可能多轮的学习/尽可能快更新的角度。
参考以下描述和所附权利要求书，将更好地理解本公开的各种实施例的这些和其它特征、方面、和优点。并入并构成本说明书的一部分的附图图示了本公开的示例实施例，并且与描述一起用作解释相关原理。
附图说明
在参考附图的说明书中阐述了针对本领域普通技术人员的实施例的详细说明，在附图中：
图1描绘了根据本公开的示例实施例的示例计算系统的框图。
图2描绘了根据本公开的示例实施例的示例计算系统的框图。
图3描绘了根据本公开的示例实施例的，用于执行通信高效机器学习的示例方法的流程图。
图4描绘了根据本公开的示例实施例的，用于执行通信高效机器学习的示例方法的流程图。
图5描绘了根据本公开的示例实施例的，用于执行通信高效机器学习的示例方法的流程图。
图6描绘了根据本公开的示例实施例的示例实验结果的曲线图。
具体实施方式
介绍
总体而言，本公开提供了在机器学习框架内执行有效率通信的系统和方法。例如，本文提供的有效率通信技术可以在联合学习框架的场境(context)中实现。然而，本文提供的有效率通信技术也可以在其它机器学习框架中实现。例如，本文提供的有效率通信技术可以在任何实例下实现，其中第一计算设备负责计算对模型的更新和/或将模型的更新传送到第二计算设备。
更具体地，联合学习是机器学习框架，其使得能够基于在大量客户端计算设备上分布的训练数据来训练高品质集中化模型。客户端通常具有低计算能力和/或与网络的慢/不稳定连接。在某些实例下，联合学习也可以被称为“联合优化”。
对联合学习有推动作用的示例产生于当训练数据本地保持在用户的移动计算设备上并且将这样的移动计算设备用作为其对本地数据执行计算的节点以更新全局模型的时候。因此，联合学习框架与常规分布式机器学习有所不同，因为客户端数目众多，数据高度不平衡并且不是独立和完全相同分布(“IID”)，以及网络连接不可靠。
与在集中化服务器上执行学习相比，联合学习提供了若干明显的优势。例如，模型更新的信息相比数据本身较不敏感。因此，隐私敏感的用户数据保留在用户的计算设备上，并且不会上传到服务器。相反，只有较不敏感的模型更新被传输。作为另一个优点，联合学习充分利用大量计算设备(例如，用户移动设备)的计算能力。此外，对上述框架的轻微修改可以导致在其相应的设备处为每个用户创建和使用个性化模型。
在某些实施方式中，实现联合学习的系统可以在多轮模型优化中的每一轮中执行以下动作：选择客户端的子集；子集中的每个客户端基于其本地数据来更新模型；更新的模型或模型更新由每个客户端发送到服务器；服务器聚合更新(例如，通过对更新进行平均)并改进全局模型；并且服务器将全局模型重新分发给所有客户端。执行多轮上述动作基于存储在客户端设备处的训练数据而迭代地改进全局模型。
在上述框架的基本实施方式中，每个客户端设备在每一轮中将完整的模型发送回服务器。然而，每个客户端设备的完整模型的传输显然是“昂贵的”(例如，从网络的角度来看，从客户端设备的工作负荷/资源的角度来看，和/或从尝试执行尽可能多轮的学习/尽可能快的更新的角度来看)。特别地，由于互联网连接的不对称性质，从客户端到服务器的上行链路通常比从服务器到客户端的下行链路慢得多。
鉴于这样的显著的上传成本，本公开提供了在机器学习框架内(例如，在上文讨论的联合学习框架内)执行有效率通信的系统和方法。特别地，本公开提供了有效率通信技术，其降低了从客户端设备向服务器传送更新的模型或模型更新的成本。
更具体地，本公开提供通信高效方案，其包括：结构化更新方案，该方案中模型更新被约束为小而概略(sketched)的更新方案，其中模型更新在发送到服务器之前被压缩。这些方案可以组合起来，例如通过首先学习结构化更新并且然后对其进行概略。
示例模型更新符号
在讨论由本公开提供的通信高效方案之前，将讨论联合学习环境中的模型更新的基本实施方式，并将介绍符号。
在一个示例联合学习框架中，目标是学习具有在实矩阵中体现的参数的模型。作为示例，该模型可以包括一个或多个神经网络(例如，深层神经网络，递归神经网络，卷积神经网络等)或其它机器学习模型。
在轮t≥0时，服务器将当前模型Wt分发给nt个客户端的子集St(例如，到其设备插接电源、能够访问宽带、并且空闲的客户端的选定子集)。这些客户端中的某些或全部基于其本地数据来独立地更新模型。更新的本地模型是使更新为：
然后，每个客户端将更新发送回服务器，其中通过聚合所有客户端侧更新来计算全局更新。例如，一个聚合方式(aggregation scheme)可以是如下：
此外，在一些实施方式中，可以使用加权和基于期望的效能来替换平均值。服务器也可以选择学习速率ηt。例如，仔细选择服务器侧学习速率可以导致更快的收敛。然而，在至少一个示例中，使用ηt＝1并且不使用加权。
在执行深度学习的实施方式中，可以使用单独的矩阵W来表示每个层的参数。因此，本文中每次对矩阵的提及(例如，模型参数矩阵或更新矩阵)应理解为不限于单个矩阵，而是作为替代指代可以用于表示给定模型或对这样的模型的更新的一个或多个矩阵。例如，具有五层的神经网络可以具有分别表示这样的层的参数的五个模型参数矩阵W和分别表示对这样的层的参数的更新的五个更新矩阵
在许多实例下，W和是2D矩阵。W可以被右乘，例如d1和d2分别代表输出和输入尺寸。例如，全连接层的参数本身形成2D矩阵。然而，卷积层的内核是形状为#输入×宽度×高度×#输出(#input×width×height×#output)的4D张量。在这样的情况下，W可以从内核重新整形为形状(#输入×宽度×高度)×#输出((#input×width×height)×#output)。
根据本公开的方面，提供了降低向服务器发送的成本的通信高效技术。具体地，本公开提供了通信高效方案，其包括：其中被限制为小或以其它方式符合一定结构的结构化更新方案以及在发送到服务器之前被压缩或以其它方式编码的概略更新方案。
示例结构化更新技术
由本公开提供的第一类型的通信高效更新是其中具有预定义结构的结构化更新。特别地，将更详细地描述两种类型的结构化更新技术：低秩技术和随机掩码技术。
在低秩结构化更新技术中，每个更新可以被约束或强制为低秩矩阵(例如，至多秩k的低秩矩阵，其中k是固定数)。在一些实施方式中，将更新限制为低秩矩阵可以通过将表示为两个矩阵的乘积来实现。
作为一个示例，是具有秩k的低秩矩阵。更新可以表示为两个矩阵的乘积：其中被随机地生成并固定，并且被优化。在一些实施方式中，客户端设备仅需要向服务器发送因为可以由服务器生成或以其它方式知道特别地，在一些实施方式中，客户端和服务器都可以知晓同步随机种子。客户端和服务器均可以使用随机种子(例如，连同伪随机数生成器一起)来分开地产生因此，客户端设备只需要向服务器发送因为服务器可以使用从客户端接收到的本地生成的和来重现
在一些实施方式中，固定(例如，随机地或确定地)也是一种选择。
在一些实施方式中，低秩结构化更新技术可以提供k/d1的压缩比。在一个示例中，种子可以是32位长。
在随机掩码结构化更新技术中，每个更新可被约束或限制为稀疏矩阵。例如，每个稀疏矩阵可以遵循预定义的稀疏模式(例如，预定义的随机稀疏模式，诸如随机掩码)。在一些实施方式中，为每一轮和/或每轮中的每个客户端生成不同的稀疏模式。
类似于低秩方案，可以基于随机种子来完全指定或以其它方式生成稀疏模式。因此，客户端设备只需要发送的非零条目的值。例如，也知晓种子的服务器可以生成稀疏模式，并且基于这样的模式来确定哪些通信值对应于哪些参数。
示例概略更新技术
由本公开提供的第二类型的通信高效更新是其中客户端在发送到服务器之前以压缩形式对更新进行编码的概略更新。客户端设备可以计算完整更新并且然后对该更新进行编码，或者可以根据结构化技术来计算更新并且然后对这样的结构化更新进行编码。服务器可以在聚合前解码该更新。
本公开设想到许多不同类型的编码或压缩。例如，压缩可以是无损压缩或有损压缩。下面更详细地描述两个示例编码技术：子采样技术和量化技术。
对更新进行编码的一种方式是仅对由更新描述的参数的随机子集进行采样。换言之，代替传送完整更新每个客户端设备可以传送矩阵其仅包括的值的子集。例如，的值的子集可以是的扩缩值的随机子集。
然后，服务器聚合采样的更新(例如，通过取平均)，产生全局更新以随机方式采样具有以下性质：经采样更新的平均值是真实平均值的无偏估计：
在一些实施方式中，可以通过使用例如如上所描述的随机掩码来选择被采样的参数部分。特别地，可以使用种子来形成参数掩码，其识别哪些参数被采样。可以为每轮和/或为每轮中的每个客户端生成不同的掩码。掩码本身可以存
储为同步的种子。通过零均值的随机矩阵扰乱SGD的预期迭代——这是子采样策略的某些实施方式的做法——不会影响这种类型的收敛。
对更新进行编码的另一种方式是通过量化权重。例如，可以概率性地量化权重。
首先，将描述用于将每个标量值量化为1位的算法。考虑更新使并且使hmax＝maxj(hj)、hmin＝minj(hj)。使h的经压缩更新为其可以如下生成：
容易示出是对h的无偏估计。当未压缩的标量值以4字节浮点描述时，上述1位方法提供32倍的压缩。
此外，对于每个标量，上述可以被推广到超过1位。例如，对于b位量化，可以将[hmin,hmax]等分为2b个区间。假设hi落入由h′和h″限定的区间中。通过用h′和h″分别替换上述等式中的hmin和hmax可以进行量化。
在一些实施方式中，区间不一定是均匀间隔的，而是作为替代可以被动态间隔。对于使用动态间隔区间的实施方式，客户端可以向服务器提供标识每个区间的max(最大)/min(最小)值的表。客户端通常会将min和max传输到服务器，而不管是否使用动态间隔。在一些实施方式中，可以在量化更新设置中类似地使用增量、随机、和/或分布式优化算法。
根据本公开的另一方面，可以通过使用随机旋转来改进上述量化技术。更具体地，当标量跨不同维度而近似相等时，上述1位和多位量化方案效果最好。例如，
当max＝100和min＝-100并且大多数值为0时，1位量化将导致大的量化误差。
因此，根据本公开的一个方面，量化之前执行h的随机旋转可以解决这个问题。例如，更新可以乘以可逆矩阵R。例如，旋转矩阵可以是正交矩阵。在量化之前随机旋转h可以跨区间更均匀地分布标量值。在解码阶段，服务器可以在聚合所有更新之前执行逆旋转。
在一些实施方式中，h的维数可以高达d＝1M，并且在旋转矩阵中生成(O(d3)和应用(O(d2)在计算上是禁止的。因此根据本公开的另一方面，可以使用结构化旋转矩阵。例如，结构化旋转矩阵可能不需要客户端计算设备的明确构造，而是作为替代具有使得能够在没有明确构造的情况下使用R进行计算的定义结构，例如，结构化旋转矩阵可以是沃尔什-哈达玛(Walsh-Hadamard)矩阵和二进制对角矩阵的乘积。这可以降低生成和应用矩阵到O(d)和O(d log d)的计算复杂度。
在一些实施方式，相同的旋转矩阵用于所有客户端设备和/或用于所有轮次。在一些实施方式，服务器然后可以在对经聚合的更新进行逆旋转之前对更新执行一些聚合。在一些实施方式，服务器在聚合之前解码每个更新。
示例系统
图1描绘了用于使用在本地存储在多个客户端设备102上的相应训练数据108来训练一个或多个全局机器学习模型106的示例系统100。系统100可以包括服务器设备104。服务器104可被配置为访问机器学习模型106，并且将模型106提供给多个客户端设备102。例如，模型106可以是线性回归模型、逻辑回归模型、支持向量机模型、神经网络(例如卷积神经网络，递归神经网络等)、或其它合适的模型。在一些实施方式中，服务器104可以被配置为通过一个或多个网络与客户端设备102进行通信。
客户端设备102均可以被配置为至少部分地基于训练数据108来确定与模型106相关联的一个或多个本地更新。例如，训练数据108可以是分别本地地存储在客户端设备106上的数据。训练数据108可以包括音频文件、图像文件、视频文件、键入历史、位置历史、和/或各种其它合适的数据。在一些实施方式中，训练数据可以是通过与客户端设备102的用户交互导出的任何数据。
除了上面的描述之外，用户可以被提供有控件来允许用户对本文所描述的系统、程序或特征是否以及何时可以实现收集、存储、和/或使用用户信息(例如，训练数据108)以及用户是否从服务器发送内容或通信二者做出选择。此外，某些数据可以在存储或使用之前以一种或多种方式处理，使得移除个人可识别信息。例如，可以对用户的可识别进行处理，使得无法确定用户个人可识别信息，或者可以在获得位置信息的情况下将用户的地理位置泛化(诸如到城市，邮政编码、或州层级)，使得无法确定用户的具体位置。因此，用户可以控制关于用户收集什么信息、如何使用该信息以及向用户提供什么信息。
虽然训练数据108在图1中被图示为单个数据库，但是训练数据108由分别存储在每个设备102处的数据组成。因此，在一些实施方式中，训练数据108是高度不平衡的，并且不是独立和完全相同分布的。
客户端设备102可以被配置为向服务器104提供本地更新。如上所述，训练数据108可以是隐私敏感的。以这种方式，可以执行本地更新并将其提供给服务器104，而不会损害到训练数据108的隐私性。例如，在这样的实施方式中，训练数据108并不提供给服务器104。本地更新不包括训练数据108。在将本地更新的模型提供给服务器104的一些实施方式中，一些隐私敏感数据可能能够从模型参数导出或推断。在这样的实施方式中，可以将加密技术、随机噪声技术、和/或其它安全技术中的一个或多个技术添加到训练过程中以模糊任何可推断的信息。
如上所述，服务器104可以从客户端设备102接收每个本地更新，并且可以聚合该本地更新以确定对模型106的全局更新。在一些实施方式，服务器104可以确定本地更新的平均值(例如，加权平均值)并且至少部分地基于该平均值来确定全局更新。
在一些实施方式，扩缩或其它技术可以应用于本地更新以确定全局更新。例如，可以为每个客户端设备102应用本地步长，可以与客户端设备102的各个数据分区大小成比例地来执行聚合，和/或一个或多个扩缩因子可以应用于本地更新和/或经聚合更新。应当理解，可以应用各种其它技术而不偏离本公开的范围。
图2描绘了可用于实现本公开的方法和系统的示例计算系统200。系统200可以使用客户端-服务器架构来实现，该客户端-服务器架构包括通过网络242与一个或多个客户端设备230进行通信的服务器210。因此，图2提供了可以实现由图1的系统100所图示的方式的示例系统200。
系统200包括诸如web服务器的服务器210。服务器210可以使用任何合适的计算设备来实现。服务器210可以具有一个或多个处理器212和一个或多个存储器设备214。可以使用一个服务器设备或多个服务器设备来实现服务器210。在使用多个设备的实施方式中，这样的多个设备可以根据并行计算架构、串行计算架构、或其组合来操作。
服务器210还可以包括用于通过网络242与一个或多个客户端设备230通信的网络接口。网络接口可以包括用于与一个或多个网络对接的任何合适的组件，包括例如发射器、接收器、端口、控制器、天线、或其它合适的组件。
一个或多个处理器212可以包括任何合适的处理设备，诸如微处理器、微控制器、集成电路、逻辑设备、或其它合适的处理设备。一个或多个存储器设备214可以包括一个或多个计算机可读介质，包括但不限于非暂时性计算机可读介质、RAM、ROM、硬盘驱动器、闪存驱动器、或其它存储器设备。一个或多个存储器设备214可以存储可由一个或多个处理器212访问的信息，包括可由一个或多个处理器212执行的计算机可读指令216。
指令216可以是指令的任何集合，该指令在由一个或多个处理器212执行时使得一个或多个处理器212执行操作。例如，指令216可以由一个或多个处理器212执行以实现全局更新器220。全局更新器220可以被配置为接收一个或多个本地更新并且至少部分地基于该本地更新来确定全局模型。
指令216还可以包括使得服务器210实现解码器222的指令。解码器222可以解码已经由客户端设备230编码的更新(例如，根据上文讨论的编码技术之一，诸如子采样、量化、随机旋转等)。
如图2所示，一个或多个存储器设备214还可以存储数据218，其可由一个或多个处理器212检索、操纵、创建、或存储。数据218可以包括例如本地更新、全局参数、和其它数据。数据218可以存储在一个或多个数据库中。一个或多个数据库可以通过高带宽LAN或WAN连接到服务器210，或者还可以通过网络242连接到服务器210。一个或多个数据库可以被拆分，使得它们位于多个地点中。
服务器210可以通过网络242与一个或多个客户端设备230交换数据。任何数目的客户端设备230可以通过网络242连接到服务器210。客户端设备230中的每一个可以是任何合适类型的计算设备，诸如通用计算机、专用计算机、膝上型计算机、台式计算机、移动设备、导航系统、智能电话、平板计算机、可穿戴计算设备、游戏控制台、具有一个或多个处理器的显示器、或其它合适的计算设备。
与服务器210类似，客户端设备230可以包括一个或多个处理器232和存储器234。一个或多个处理器232可以包括例如一个或多个中央处理单元(CPU)、专用于有效率地渲染图像或执行其它专门计算的图形处理单元(GPU)、和/或其它处理设备。存储器234可以包括一个或多个计算机可读介质并且可以存储可由一个或多个处理器232访问的信息，包括可由一个或多个处理器232执行的指令236和数据238。
指令236可以包括用于实现本地更新器的指令，本地更新器根据本公开的示例方面配置成确定一个或多个本地更新。例如，本地更新器可以执行一种或多种训练技术，诸如后向传播误差以基于本地存储的训练数据来重新训练或以其它方式更新模型。本地更新器可以被配置为执行结构化更新、概略更新、或其它技术。本地更新器可以被包括在应用中，或者可以被包括在设备230的操作系统中。
指令236还可以包括用于实现编码器的指令。例如，编码器可以执行上述编码技术中的一个或多个(例如，子采样，量化，随机旋转等)。
数据238可以包括用于解决一个或多个优化问题的一个或多个训练数据示例。每个客户端设备230的训练数据示例可以在客户端设备中不均匀地分布，使得客户端设备230不包括训练数据示例的总体分布的代表性样本。
数据238还可以包括要传送到服务器210的更新的参数。
图2的客户端设备230可以包括用于提供和接收来自用户的信息的各个输入/输出设备，诸如触摸屏、触摸板、数据录入键、扬声器、和/或适合于语音识别的麦克风。
客户端设备230还可以包括用于通过网络242与一个或多个远程计算设备(例如，服务器210)进行通信的网络接口。网络接口可以包括用于与一个或多个网络对接的任何合适的组件，包括例如发射器、接收器、端口、控制器、天线、或其它合适的组件。
网络242可以是任何类型的通信网络，诸如局域网(例如内联网)、广域网(例如互联网)、蜂窝网络、或其某些组合。网络242还可以包括在客户端设备230与服务器210之间的直接连接。通常，可以使用任何类型的有线和/或无线连接、使用各种通信协议(例如TCP/IP、HTTP、SMTP、FTP)、编码或格式(例如HTML、XML)、和/或保护方式(如VPN、安全HTTP、SSL)经由网络接口来实施服务器210与客户端设备230之间的通信。
示例方法
图3描绘了根据本公开的示例实施例的，确定全局模型的示例方法(300)的流程图。方法(300)可以由一个或多个计算设备来实现，该计算设备诸如图1和/或2所描绘的计算设备中的一个或多个。此外，图3描绘了为了说明和讨论的目的而以特定顺序执行的步骤。本领域普通技术人员使用本文提供的公开将理解，本文讨论的任何方法的步骤可以以各种方式进行调整、重新排列、扩展、省略、或修改，而不脱离本公开的范围。
在(302)，方法(300)可以包括由客户端设备基于一个或多个本地数据示例来确定本地模型。特别地，可以使用一个或多个数据示例来针对损失函数确定本地模型。例如，数据示例可以通过用户与客户端设备交互来生成。在一些实施方式中，模型可能已经在(302)的本地训练之前被预先训练。在一些实施方式中，可以在(302)处使用结构化更新、概略更新、或其它技术来使所学习的本地模型或本地更新变得通信高效。
在(304)，方法(300)可以包括由客户端设备将本地模型提供给服务器，并且在(306)，方法(300)可以包括由服务器接收本地模型。在一些实施方式中，可以在将本地模型或本地更新发送到服务器之前对该本地模型或本地更新进行编码或压缩。
在(308)，方法(300)可以包括由服务器至少部分地基于所接收的本地模型来确定全局模型。例如，可以至少部分地基于由多个客户端设备提供的多个本地模型来确定全局模型，所述多个客户端设备均具有多个不均匀分布的数据示例。特别地，数据示例可以分布在客户端设备中，使得客户端设备不包括数据的总体分布的代表性样本。此外，客户端设备的数目可以超过任何一个客户端设备上的数据示例的数目。
在一些实施方式中，作为聚合过程的一部分，服务器可以解码每个接收到的本地模型或本地更新。
在(310)，方法(300)可以包括向每个客户端设备提供全局模型，并且在(312)，方法(300)可以包括接收全局模型。
在(314)，方法(300)可以包括由客户端设备确定本地更新。在一个特定实施方式中，可以基于本地存储的训练数据重新训练或以其它方式更新全局模型来确定本地更新。在一些实施方式，可以在(314)处使用结构化更新、概略更新、或其它技术来使所学习的本地模型或本地更新变得通信高效。
在一些实施方式中，可以至少部分地基于使用一个或多个随机更新或迭代来确定本地更新。例如，客户端设备可以随机对存储在客户端设备上的数据示例的分区进行采样来确定本地更新。特别地，可以使用随机模型下降技术来确定本地更新来确定调整损失函数的一个或多个参数的方向。
在一些实施方式中，可以至少部分地基于存储在客户端设备上的数据示例的数目来确定与本地更新确定相关联的步长。在进一步的实施方式中，随机模型可以使用对角矩阵或其它扩缩技术进行扩缩。在另外的实施方式中，可以使用强制每个客户端设备在相同方向上更新损失函数的参数的线性项来确定本地更新。
在(316)中，方法(300)可以包括由客户端设备向服务器提供本地更新。在一些实施方式中，可以在将本地模型或更新发送到服务器之前对本地模型或本地更新进行编码。
在(318)，方法(300)可以包括由服务器接收本地更新。具体地，服务器可以从多个客户端设备接收多个本地更新。
在(320)，方法(300)可以包括再次确定全局模型。特别地，可以至少部分地基于所接收的本地更新来确定全局模型。例如，可以聚合所接收到的本地更新以确定全局模型。聚合可以是加法聚合和/或平均聚合。在特定实施方式中，本地更新的聚合可以与客户端设备上的数据示例的分区大小成比例。在另外的实施例中，本地更新的聚合可以以每坐标方式来进行扩缩。
可以执行任何次数的对本地更新和全局更新迭代。即，可以迭代地执行方法(300)以随时间推移基于本地存储的训练数据来更新全局模型。
图4描绘了根据本公开的示例实施例的，用于执行通信高效机器学习的示例方法400的流程图。例如，方法400可以由客户端计算设备执行。
在402，客户端计算设备获得机器学习模型的参数集的全局值。
在404，客户计算设备至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，该更新矩阵描述机器学习模型的参数集的经更新值。更新矩阵被限制为具有预定义的结构。本地数据集由客户端计算设备本地存储。在一些实施方式中，更新矩阵描述了参数集的经更新值和/或经更新值与全局值之间差异。
在一些实施方式，更新矩阵被限制为低秩矩阵。
在一些实施方式中，在404处训练机器学习模型可以包括由客户端计算设备将更新矩阵定义为第一矩阵和第二矩阵的乘积。第一矩阵可以包括固定值，并且第二矩阵可以包括可优化的变量。客户端计算设备可以至少部分地基于本地数据集来训练机器学习模型以获得第二矩阵。
在一些这样的实施方式中，方法400还可以包括：在404处训练模型之前：至少部分地基于种子和伪随机数生成器来生成第一矩阵。客户端计算设备和服务器计算设备可以均知晓种子，使得第一矩阵可由服务器计算设备重现。
在一些实施方式中，更新矩阵被限制为稀疏矩阵。
在一些实施方式中，在404处训练机器学习模型可以包括至少部分地基于本地数据集来训练机器学习模型，使得仅针对参数集的预选部分确定经更新值。在这样的实施方式中，更新矩阵可以仅描述参数集的预选部分的经更新值。
在一些这样的实施方式中，方法400还可以包括：在404处训练模型之前：生成参数掩码，该参数掩码指定参数集中的哪些参数被包括在该参数集的预选部分中。例如，生成参数掩码可以包括由客户端计算设备至少部分地基于种子和伪随机数生成器来生成参数掩码，其中客户端计算设备和服务器计算设备均知晓种子，使得参数掩码可由服务器计算设备重现。
在406，客户端计算设备将描述更新矩阵的信息传送到服务器计算设备。
作为一个示例，在404处训练模型包括优化第二矩阵的实施方式中，在406处传送描述更新矩阵的信息可以包括将描述第二矩阵的信息传送到服务器计算设备。
图5描绘了根据本公开的示例实施例的，用于执行通信高效机器学习的示例方法500的流程图。例如，方法500可以由客户端计算设备执行。
在502，客户端计算设备获得机器学习模型的参数集的全局值。
在504，客户计算设备至少部分地基于本地数据集来训练机器学习模型以获得更新矩阵，该更新矩阵描述机器学习模型的参数集的经更新值。该本地数据集由客户端计算设备本地存储。在一些实施方式中，该更新矩阵描述了参数集的经更新值和/或经更新值与全局值之间的差异。
在506，客户端计算设备对更新矩阵进行编码以获得经编码更新。
在一些实施方式中，在506处编码更新矩阵可以包括对更新矩阵进行子采样以获得经编码更新。在一些这样的实施方式中，对更新矩阵进行子采样可以包括：生成参数掩码，该参数掩码指定要采样的参数集的一部分；并根据该参数掩码对更新矩阵进行子采样。
在一些这样的实施方式中，生成参数掩码可以包括至少部分地基于种子和伪随机数生成器来生成参数掩码，其中客户端计算设备和服务器计算设备均知晓种子，使得参数掩码可由服务器计算设备重现。
在一些实施方式中，在506处编码更新矩阵可以包括对包括在更新矩阵中的一个或多个值进行概率性量化。在一些实施方式中，在506处编码更新矩阵可以包括对在更新矩阵中包括的一个或多个值执行概率性二进制量化，以将一个或多个值中的每一个改变为在更新矩阵中所包括的最大值或在更新矩阵中所包括的最小值。在一些实施方式中，在506处编码更新矩阵可以包括：在在更新矩阵中所包括的最大值与在更新矩阵中所包括的最小值之间定义多个区间；并且将在更新矩阵中所包括的一个或多个值概率性地改变为局部区间最大值或局部区间最小值。
在一些实施方式中，在506处编码更新矩阵可以包括将更新矩阵的向量乘以旋转矩阵以获得旋转更新。在一些这样的实施方式中，编码更新矩阵还可以包括概率性地量化旋转更新中所包括的一个或多个值。在一些实施方式中，旋转矩阵可以是不需要客户端计算设备完全生成旋转矩阵的结构化旋转矩阵。
在508，客户端计算设备将经编码更新传送到服务器计算设备。该服务器计算设备可以对经编码更新进行解码。
示例实验
使用联合学习进行示例实验来训练用于CIFAR-10图像分类任务的深层神经网络(参见Krizhevsky.Learning multiple layers of features from tiny images(根据微小图像来学习多层的特征).Technical report,2009)。存在50000个训练示例，其分成100个客户端，每个客户端包含500个训练示例。模型架构取自TensorFlow教程(Tensorflowconvolutional neural networks tutorial(Tensorflow卷积神经网络教程).http://www.tensorflow.org/tutorials/deep_cnn，2016)，其由两个卷积层组成，后面是两个全连接层，并且然后是线性变换层以为总共超过1e6个参数产生logit。虽然这种模型不是最先进的，但是不同于为了实现此任务的最佳可能准确性，其足够用于评估本文描述的压缩方法的目的。
采用联合取平均算法(McMahan等人。Federated Learning of deep networksusing model platforms(使用模型平台的深度网络联合学习).ArXiv：1602.05629,160)，这大大减少了训练良好模型所需的通信轮次。然而，当应用于同步SGD时，这些技术预期将示出通信成本的类似降低。对于联合平均化，对于总共100个本地更新，每轮随机选择10个客户端，其中每一个使用50个图像的小批次在其本地数据集上以η学习速率来执行10期SGD。从该经更新模型中，计算的每层的差量(delta)。
表1提供了示例CIFAR实验的低秩和采样参数。采样概率列给出了分别针对两个卷积层和两个全连接层上传的元素部分；这些参数由StructMask、SketchMask、和SketchRotMask使用。低秩列给出了这四个层的秩限制k。最后的softmax层小，所以对其的更新没有被压缩。
表1：
图6描绘了示例非量化结果(左列和中间列)以及包括二进制量化的结果(虚线SketchRotMaskBin和SketchMaskBin，右列)的曲线图。注意，右上曲线图的x轴是对数标度。利用少于100MB的通信来实现了超过70％的准确度。
定义了中和高低秩/采样参数设定，使得这两种方案的压缩率相同，如表1所给出。图6的左列和中心列显示了测试集准确度的非量化结果，既作为算法轮数的函数，并且也作为上传的总兆字节数的函数。对于所有实验，使用以0.15为中心的分辨率的乘法网格调谐学习速率。学习速率的结果绘制有在400-800轮上的最佳中值准确度。使用0.988的乘法学习速率衰减，其通过仅针对基线算法进行调谐来选择。
对于中等子采样，在固定的带宽使用量之后，所有这三种方案提供了测试集准确度的大大提高；除了StructLowRank方案对于高子采样参数表现较差外，下排的曲线图作为更新轮数的函数示出准确度的极少损失。
图6中右边的两个曲线图给出了在有二进制量化和没有二进制量化的情况下SketchMask和SketchRotMask的结果；只考虑中等子采样方式，其是代表性的。观察到(如预期)在没有量化的情况下引入随机旋转基本上没有影响。然而，二进制量化大大降低了总通信成本，并且进一步引入随机旋转显着地加速了收敛，并且还允许收敛到更高准确度水平。能够以仅约100MB的通信来学习合理的模型(70％的准确度)，比基线小两个数量级。
附加公开
本文讨论的技术引用了服务器、数据库、软件应用、和其它基于计算机的系统，以及所采取的措施和向这样的系统发送的信息和从这样的系统发送的信息。基于计算机的系统的固有灵活性允许组件之间和组件当中的各种可能的任务和功能的配置、组合、和划分。例如，可以使用单个设备或组件或组合地工作的多个设备或组件来实现本文讨论的过程。数据库和应用程序可以在单个系统上实现或跨多个系统分布。分布式组件可以顺序或并行地操作。
虽然已经关于本主题的各种具体示例实施例详细描述了本主题，但是通过说明而不是限制本公开来提供每个示例。本领域技术人员在理解上述内容之后可以容易地针对这样的实施例做出改变、变型、和等同物。因此，本公开不排除对本领域的普通技术人员显而易见的对本主题的这样的修改、变型和/或添加。例如，作为一个实施例的一部分图示或描述的特征可以与另一个实施例一起使用以产生又一个实施例。因此，本公开旨在涵盖这样的改变、变型、和等同物。

Claims (20)

1.一种用于通信高效机器学习的计算机实现的方法，所述方法包括：
由客户端计算设备获得机器学习模型的参数集的全局值；
由所述客户端计算设备至少部分地基于本地数据集来训练所述机器学习模型以获得更新矩阵，所述更新矩阵描述所述机器学习模型的所述参数集的经更新值，其中，所述更新矩阵被约束为具有预定义的结构，并且其中，所述本地数据集由所述客户端计算设备本地存储；以及
由所述客户端计算设备将描述所述更新矩阵的信息传送到服务器计算设备。
2.根据权利要求1所述的计算机实现的方法，其中，所述更新矩阵被约束为低秩矩阵。
3.根据权利要求1所述的计算机实现的方法，其中：
由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型以获得所述更新矩阵包括：
由所述客户端计算设备将所述更新矩阵定义为第一矩阵与第二矩阵的乘积，其中，所述第一矩阵包括固定值并且所述第二矩阵包括能够优化的变量；以及
由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型以获得所述第二矩阵；以及
由所述客户端计算设备将描述所述更新矩阵的信息传送到所述服务器计算设备包括：由所述客户端计算设备将描述所述第二矩阵的信息传送到所述服务器计算设备。
4.根据权利要求3所述的计算机实现的方法，进一步包括，在由所述客户端计算设备训练所述机器学习模型之前：
由所述客户端计算设备至少部分地基于种子和伪随机数生成器来生成所述第一矩阵，其中，所述客户端计算设备和所述服务器计算设备二者均知晓所述种子，使得所述第一矩阵能够由所述服务器计算设备重现。
5.根据权利要求1-3中的任一项所述的计算机实现的方法，其中，所述更新矩阵被约束为稀疏矩阵。
6.根据权利要求1-3中的任一项所述的计算机实现的方法，其中，由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型包括：由所述客户端计算设备至少部分地基于所述本地数据集来训练所述机器学习模型以使得仅对于所述参数集的预选部分确定所述经更新值，所述更新矩阵仅描述所述参数集的所述预选部分的所述经更新值。
7.根据权利要求6所述的计算机实现的方法，进一步包括，在由所述客户端计算设备训练所述机器学习模型之前：
由所述客户端计算设备生成参数掩码，所述参数掩码指定所述参数集中的哪些参数被包括于所述参数集的所述预选部分中。
8.根据权利要求7所述的计算机实现的方法，其中，由所述客户端计算设备生成所述参数掩码包括：由所述客户端计算设备至少部分地基于种子和伪随机数生成器来生成所述参数掩码，其中，所述客户端计算设备和所述服务器计算设备均知晓所述种子，使得所述参数掩码能够由所述服务器计算设备重现。
9.根据权利要求1-3中的任一项所述的计算机实现的方法，其中，所述更新矩阵描述所述参数集的所述经更新值或者所述经更新值与所述全局值之间的相应差异。
10.一种客户端计算设备，包括：
至少一个处理器；以及
存储指令的至少一个非暂时性计算机可读存储介质，所述指令在由所述至少一个处理器执行时，使得所述客户端计算设备执行操作，所述操作包括：
获得机器学习模型的参数集的全局值；
至少部分地基于本地数据集来训练所述机器学习模型获得更新矩阵，所述更新矩阵描述所述机器学习模型的所述参数集的经更新值，并且其中，所述本地数据集由所述客户端计算设备本地存储；
编码所述更新矩阵以获得经编码更新；以及
将所述经编码更新传送到服务器计算设备。
11.根据权利要求10所述的客户端计算设备，其中，编码所述更新矩阵包括对所述更新矩阵进行子采样以获得所述经编码更新。
12.根据权利要求11所述的客户端计算设备，其中，对所述更新矩阵进行子采样包括：
生成参数掩码，所述参数掩码指定所述参数集的待采样的一部分；以及
根据所述参数掩码来对所述更新矩阵进行子采样。
13.根据权利要求12所述的客户端计算设备，其中，生成所述参数掩码包括至少部分地基于种子和伪随机数生成器来生成所述参数掩码，其中，所述客户端计算设备和所述服务器计算设备均知晓所述种子，使得所述参数掩码能够由所述服务器计算设备重现。
14.根据权利要求10至13中的任一项所述的客户端计算设备，其中，编码所述更新矩阵包括概率性地量化所述更新矩阵中所包括的一个或多个值。
15.根据权利要求10至13中的任一项所述的客户端计算设备，其中，编码所述更新矩阵包括对于所述更新矩阵中所包括的一个或多个值执行概率性二进制量化以将所述一个或多个值中的每一个变成所述更新矩阵中所包括的最大值或者所述更新矩阵中所包括的最小值。
16.根据权利要求10至13中的任一项所述的客户端计算设备，其中，编码所述更新矩阵包括：
定义所述更新矩阵中所包括的最大值与所述更新矩阵中所包括的最小值之间的多个区间；以及
将所述更新矩阵中所包括的一个或多个值中的每一个概率性地改变为本地间隔最大值或本地间隔最小值。
17.根据权利要求10至13中的任一项所述的客户端计算设备，其中，编码所述更新矩阵包括使所述更新矩阵的向量乘以旋转矩阵以获得经旋转更新。
18.根据权利要求17所述的客户端计算设备，其中，编码所述更新矩阵进一步包括：
概率性地量化所述经旋转更新中所包括的一个或多个值。
19.根据权利要求17所述的客户端计算设备，其中，所述旋转矩阵是结构化旋转矩阵，所述结构化矩阵不需要所述客户端计算设备完全生成所述旋转矩阵。
20.存储指令的至少一个非暂时性计算机可读存储介质，所述指令在由客户端计算设备执行时，使得所述客户端计算设备执行操作，所述操作包括：
获得机器学习模型的参数集的全局值；
至少部分地基于本地数据集来训练所述机器学习模型以获得更新矩阵，所述更新矩阵描述所述机器学习模型的所述参数集的经更新值，其中，所述本地数据集由所述客户端计算设备本地存储；并且其中，所述更新矩阵被约束为低秩矩阵和稀疏矩阵中的至少一个；
编码所述更新矩阵以获得经编码更新；以及
将所述经编码更新传送到服务器计算设备。
CN201710874932.2A 2016-09-26 2017-09-25 通信高效联合学习 Active CN107871160B (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202110974303.3A CN113837357A (zh) 2016-09-26 2017-09-25 通信高效联合学习

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US201662400019P 2016-09-26 2016-09-26
US62/400,019 2016-09-26

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202110974303.3A Division CN113837357A (zh) 2016-09-26 2017-09-25 通信高效联合学习

Publications (2)

Publication Number Publication Date
CN107871160A true CN107871160A (zh) 2018-04-03
CN107871160B CN107871160B (zh) 2021-09-10

Family

ID=59982468

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201710874932.2A Active CN107871160B (zh) 2016-09-26 2017-09-25 通信高效联合学习
CN202110974303.3A Pending CN113837357A (zh) 2016-09-26 2017-09-25 通信高效联合学习

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202110974303.3A Pending CN113837357A (zh) 2016-09-26 2017-09-25 通信高效联合学习

Country Status (6)

Country Link
US (4) US20180089587A1 (zh)
EP (3) EP3494522B1 (zh)
CN (2) CN107871160B (zh)
DE (2) DE202017105829U1 (zh)
GB (1) GB2556981A (zh)
WO (1) WO2018057302A1 (zh)

Cited By (43)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN109145984A (zh) * 2018-08-20 2019-01-04 联想(北京)有限公司 用于机器训练的方法和装置
CN109165725A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109255444A (zh) * 2018-08-10 2019-01-22 深圳前海微众银行股份有限公司 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109325584A (zh) * 2018-08-10 2019-02-12 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109460826A (zh) * 2018-10-31 2019-03-12 北京字节跳动网络技术有限公司 用于分发数据的方法、装置和模型更新系统
CN109657055A (zh) * 2018-11-09 2019-04-19 中山大学 基于层次混合网络的标题党文章检测方法及联邦学习策略
CN109711556A (zh) * 2018-12-24 2019-05-03 中国南方电网有限责任公司 机巡数据处理方法、装置、网级服务器和省级服务器
CN110348241A (zh) * 2019-07-12 2019-10-18 之江实验室 一种数据共享策略下的多中心协同预后预测系统
CN110674528A (zh) * 2019-09-20 2020-01-10 深圳前海微众银行股份有限公司 联邦学习隐私数据处理方法、设备、系统及存储介质
CN110738323A (zh) * 2018-07-03 2020-01-31 百度在线网络技术（北京）有限公司 基于数据共享建立机器学习模型的方法和装置
WO2020029590A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于联邦训练的样本预测方法、装置及存储介质
CN110795477A (zh) * 2019-09-20 2020-02-14 平安科技（深圳）有限公司 数据的训练方法及装置、系统
CN110874650A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 融合公域数据和私有数据的联盟学习方法、装置和系统
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN111062044A (zh) * 2019-12-09 2020-04-24 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
CN111310932A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN111340243A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 用于联盟学习的方法、装置及联盟学习系统
CN111553484A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 联邦学习的方法、装置及系统
CN111553483A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 基于梯度压缩的联邦学习的方法、装置及系统
WO2020168761A1 (zh) * 2019-02-22 2020-08-27 华为技术有限公司 训练模型的方法和装置
CN111680798A (zh) * 2019-03-11 2020-09-18 人工智能医生股份有限公司 联合学习模型系统和方法、装置和计算机可读存储介质
CN111796517A (zh) * 2019-04-01 2020-10-20 辉达公司 使用神经网络进行任务模拟
WO2020210979A1 (zh) * 2019-04-16 2020-10-22 华为技术有限公司 基于区块链网络的联合学习方法和联合学习设备
CN111967609A (zh) * 2020-08-14 2020-11-20 深圳前海微众银行股份有限公司 模型参数验证方法、设备及可读存储介质
WO2020259717A1 (zh) * 2019-08-26 2020-12-30 深圳前海微众银行股份有限公司 联邦学习系统的控制方法、装置、终端设备及存储介质
CN112347754A (zh) * 2019-08-09 2021-02-09 国际商业机器公司 建立联合学习框架
CN112418446A (zh) * 2020-11-18 2021-02-26 脸萌有限公司 模型处理方法、系统、装置、介质及电子设备
CN112424797A (zh) * 2018-05-17 2021-02-26 弗劳恩霍夫应用研究促进协会 神经网络的分布式学习和/或其参数化更新的传输的概念
WO2021036014A1 (zh) * 2019-08-28 2021-03-04 深圳前海微众银行股份有限公司 联邦学习信用管理方法、装置、设备及可读存储介质
CN112580815A (zh) * 2019-09-27 2021-03-30 西门子医疗有限公司 用于可扩展和去中心化增量机器学习的方法和系统
WO2021056760A1 (zh) * 2019-09-24 2021-04-01 深圳前海微众银行股份有限公司 联邦学习数据加密方法、装置、设备及可读存储介质
CN113312543A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 基于联合学习的个性化模型训练方法、电子设备和介质
CN113326946A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 更新应用识别模型的方法、装置及存储介质
CN113361598A (zh) * 2021-06-04 2021-09-07 重庆大学 基于分布式学习的模型训练方法、服务器及分布式系统
CN113497785A (zh) * 2020-03-20 2021-10-12 深信服科技股份有限公司 恶意加密流量检测方法、系统、存储介质和云端服务器
CN113537512A (zh) * 2021-07-15 2021-10-22 青岛海尔工业智能研究院有限公司 基于联邦学习的模型训练方法、装置、系统、设备和介质
CN113988254A (zh) * 2020-07-27 2022-01-28 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
US20220105754A1 (en) * 2020-10-02 2022-04-07 Sumitomo Rubber Industries, Ltd. Tire
CN114503505A (zh) * 2019-10-16 2022-05-13 国际商业机器公司 从分布式网络中的有噪声的数值数据学习模式字典
TWI775170B (zh) * 2020-09-30 2022-08-21 新漢股份有限公司 Cpu應用於人工智慧相關程序時的執行方法
WO2022267870A1 (zh) * 2021-06-24 2022-12-29 中兴通讯股份有限公司 指标优化方法及服务器、计算机可读存储介质
US11847504B2 (en) 2020-12-16 2023-12-19 Nexcom International Co., Ltd. Method for CPU to execute artificial intelligence related processes
CN112424797B (zh) * 2018-05-17 2024-07-12 弗劳恩霍夫应用研究促进协会 神经网络的分布式学习和/或其参数化更新的传输的概念

Families Citing this family (121)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US10769549B2 (en) * 2016-11-21 2020-09-08 Google Llc Management and evaluation of machine-learned models based on locally logged data
US10902089B2 (en) * 2017-05-22 2021-01-26 United States Of America As Represented By The Secretary Of The Air Force Method for predicting stochastic output performance or scaling stochastic inputs
US10305923B2 (en) * 2017-06-30 2019-05-28 SparkCognition, Inc. Server-supported malware detection and protection
EP3518156A1 (en) * 2018-01-29 2019-07-31 Siemens Aktiengesellschaft A method for collaborative machine learning of analytical models
CN108520303A (zh) 2018-03-02 2018-09-11 阿里巴巴集团控股有限公司 一种推荐系统构建方法及装置
US11593634B2 (en) * 2018-06-19 2023-02-28 Adobe Inc. Asynchronously training machine learning models across client devices for adaptive intelligence
CN109165515A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于联邦学习的模型参数获取方法、系统及可读存储介质
CN109034398B (zh) * 2018-08-10 2023-09-12 深圳前海微众银行股份有限公司 基于联邦训练的梯度提升树模型构建方法、装置及存储介质
US11455572B2 (en) * 2018-08-24 2022-09-27 Servicenow (Canada) Inc. Machine learning model hardware configuration based optimization
CN111126613A (zh) * 2018-10-31 2020-05-08 伊姆西Ip控股有限责任公司 用于深度学习的方法、设备和计算机程序产品
US11562046B2 (en) 2018-11-26 2023-01-24 Samsung Electronics Co., Ltd. Neural network processor using dyadic weight matrix and operation method thereof
US11989634B2 (en) * 2018-11-30 2024-05-21 Apple Inc. Private federated learning with protection against reconstruction
US11610110B2 (en) 2018-12-05 2023-03-21 Bank Of America Corporation De-conflicting data labeling in real time deep learning systems
EP3891933A1 (en) * 2018-12-07 2021-10-13 Telefonaktiebolaget LM Ericsson (publ) Predicting network communication performance using federated learning
US11138327B2 (en) 2018-12-27 2021-10-05 Industrial Technology Research Institute Privacy data integration method and server
KR102247322B1 (ko) * 2018-12-28 2021-05-03 연세대학교 산학협력단 연합된 디스틸레이션 기반의 러닝 구동 방법, 러닝 구동 서버 및 러닝 구동 단말
CN109492420B (zh) * 2018-12-28 2021-07-20 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法、终端、系统及介质
CN110998579B (zh) 2019-01-11 2023-08-22 创新先进技术有限公司 隐私保护的分布式多方安全模型训练框架
JP2022523564A (ja) 2019-03-04 2022-04-25 アイオーカレンツ， インコーポレイテッド 機械学習を使用するデータ圧縮および通信
EP3942700A1 (en) * 2019-03-18 2022-01-26 FRAUNHOFER-GESELLSCHAFT zur Förderung der angewandten Forschung e.V. Methods and apparatuses for compressing parameters of neural networks
FR3094109A1 (fr) 2019-03-21 2020-09-25 Roofstreet Procédé et système de traitement de données numériques provenant d’équipements connectés en garantissant la sécurité des données et la protection de la vie privée
US20220215252A1 (en) * 2019-05-07 2022-07-07 Imagia Cybernetics Inc. Method and system for initializing a neural network
EP3742669B1 (en) * 2019-05-20 2023-11-08 Nokia Technologies Oy Machine learning in radio access networks
US11227187B1 (en) 2019-05-23 2022-01-18 Augustus Intelligence Inc. Generating artificial intelligence solutions using raw data and simulated data
CN110288094B (zh) * 2019-06-10 2020-12-18 深圳前海微众银行股份有限公司 基于联邦学习的模型参数训练方法及装置
US11562228B2 (en) 2019-06-12 2023-01-24 International Business Machines Corporation Efficient verification of machine learning applications
US11983608B2 (en) 2019-06-12 2024-05-14 International Business Machines Corporation Efficient verification of machine learning applications
US11694110B2 (en) 2019-06-12 2023-07-04 International Business Machines Corporation Aggregated machine learning verification for database
CN110263936B (zh) * 2019-06-14 2023-04-07 深圳前海微众银行股份有限公司 横向联邦学习方法、装置、设备及计算机存储介质
US11494671B2 (en) 2019-07-14 2022-11-08 Olivia Karen Grabmaier Precision hygiene using reinforcement learning
EP3767511B1 (en) 2019-07-19 2021-08-25 Siemens Healthcare GmbH Securely performing parameter data updates
KR20210015531A (ko) 2019-08-02 2021-02-10 삼성전자주식회사 뉴럴 네트워크 모델을 업데이트하는 방법 및 시스템
CN110443378B (zh) * 2019-08-02 2023-11-03 深圳前海微众银行股份有限公司 联邦学习中特征相关性分析方法、装置及可读存储介质
CN110472745B (zh) * 2019-08-06 2021-04-27 深圳前海微众银行股份有限公司 一种联邦学习中的信息传输方法及装置
US10803184B2 (en) * 2019-08-09 2020-10-13 Alibaba Group Holding Limited Generation of a model parameter
US20220294606A1 (en) * 2019-08-16 2022-09-15 Telefonaktiebolaget Lm Ericsson (Publ) Methods, apparatus and machine-readable media relating to machine-learning in a communication network
US20220292398A1 (en) * 2019-08-16 2022-09-15 Telefonaktiebolaget Lm Ericsson (Publ) Methods, apparatus and machine-readable media relating to machine-learning in a communication network
US11836615B2 (en) 2019-09-20 2023-12-05 International Business Machines Corporation Bayesian nonparametric learning of neural networks
US20210089922A1 (en) * 2019-09-24 2021-03-25 Qualcomm Incorporated Joint pruning and quantization scheme for deep neural networks
CN114467101A (zh) * 2019-10-07 2022-05-10 瑞典爱立信有限公司 用于联邦学习的仲裁器
US20230106985A1 (en) * 2019-10-09 2023-04-06 Telefonaktiebolaget Lm Ericsson (Publ) Developing machine-learning models
US20210125105A1 (en) * 2019-10-23 2021-04-29 The United States Of America, As Represented By The Secretary Of The Navy System and Method for Interest-focused Collaborative Machine Learning
CN110837527B (zh) * 2019-11-14 2022-03-22 深圳市超算科技开发有限公司 一种机器学习模型的安全应用方法及系统
CN110995793B (zh) * 2019-11-19 2022-07-05 北京奇艺世纪科技有限公司 一种信息流控件更新系统、方法和装置
US11461593B2 (en) 2019-11-26 2022-10-04 International Business Machines Corporation Federated learning of clients
CN110990870A (zh) * 2019-11-29 2020-04-10 上海能塔智能科技有限公司 运维、使用模型库的处理方法、装置、设备与介质
WO2021111456A1 (en) * 2019-12-05 2021-06-10 Telefonaktiebolaget Lm Ericsson (Publ) Moderator for identifying deficient nodes in federated learning
US11588621B2 (en) 2019-12-06 2023-02-21 International Business Machines Corporation Efficient private vertical federated learning
SE545545C2 (en) * 2019-12-12 2023-10-17 Assa Abloy Ab Device and method for processing an input media feed for monitoring a person using an artificial intelligence (AI) engine
US11551083B2 (en) 2019-12-17 2023-01-10 Soundhound, Inc. Neural network training from private data
US20230010095A1 (en) * 2019-12-18 2023-01-12 Telefonaktiebolaget Lm Ericsson (Publ) Methods for cascade federated learning for telecommunications network performance and related apparatus
US11941520B2 (en) * 2020-01-09 2024-03-26 International Business Machines Corporation Hyperparameter determination for a differentially private federated learning process
EP4091108A4 (en) * 2020-01-16 2023-08-30 Telefonaktiebolaget LM Ericsson (publ.) FEDERATED LEARNING AT THE CONTEXT LEVEL
WO2021149845A1 (ko) * 2020-01-21 2021-07-29 연세대학교 산학협력단 연합된 디스틸레이션 기반의 러닝 구동 방법, 러닝 구동 서버 및 러닝 구동 단말
GB2591496A (en) * 2020-01-30 2021-08-04 Vision Semantics Ltd De-centralised learning for re-identification
EP4100892A4 (en) * 2020-02-03 2024-03-13 Intel Corporation DISTRIBUTED LEARNING SYSTEMS AND METHODS FOR WIRELESS EDGE DYNAMICS
GB202001468D0 (en) 2020-02-04 2020-03-18 Tom Tom Navigation B V Navigation system
CN111651263B (zh) * 2020-02-12 2023-10-13 北京小米移动软件有限公司 移动终端的资源处理方法、装置、计算机设备及存储介质
CN111324813A (zh) * 2020-02-20 2020-06-23 深圳前海微众银行股份有限公司 推荐方法、装置、设备及计算机可读存储介质
CN111352799A (zh) * 2020-02-20 2020-06-30 中国银联股份有限公司 一种巡检方法及装置
US20210272014A1 (en) * 2020-02-28 2021-09-02 Shanghai United Imaging Intelligence Co., Ltd. System and methods for privacy preserving cross-site federated learning
EP4115360A4 (en) * 2020-03-02 2023-06-28 Telefonaktiebolaget Lm Ericsson (Publ) Synthetic data generation in federated learning systems
US11948096B2 (en) 2020-03-13 2024-04-02 International Business Machines Corporation Adaptively adjusting influence in federated learning model updates
CN113496291A (zh) * 2020-03-18 2021-10-12 索尼公司 用于联邦学习的装置、方法和存储介质
US11438348B2 (en) 2020-03-27 2022-09-06 Interset Software, Inc. Efficient determination of expected maximum for anomaly detection
US11645538B2 (en) * 2020-04-17 2023-05-09 Applied Engineering Concepts, Inc. Physical layer authentication of electronic communication networks
KR102544531B1 (ko) * 2020-04-27 2023-06-16 한국전자기술연구원 연합 학습 시스템 및 방법
CN111538598A (zh) * 2020-04-29 2020-08-14 深圳前海微众银行股份有限公司 联邦学习建模方法、装置、设备及可读存储介质
KR20210138994A (ko) * 2020-05-13 2021-11-22 삼성전자주식회사 연합 학습을 위한 전자 장치를 제어하는 방법 및 디바이스
US11755951B2 (en) * 2020-05-15 2023-09-12 Vmware, Inc. Machine learning with an intelligent continuous learning service in a big data environment
EP4158558A4 (en) * 2020-06-01 2024-06-05 Intel Corporation FEDERATE LEARNING OPTIMIZATIONS
US20210383197A1 (en) * 2020-06-04 2021-12-09 EMC IP Holding Company LLC Adaptive stochastic learning state compression for federated learning in infrastructure domains
US11664033B2 (en) 2020-06-15 2023-05-30 Samsung Electronics Co., Ltd. Electronic apparatus and controlling method thereof
CN111678696A (zh) * 2020-06-17 2020-09-18 南昌航空大学 基于联邦学习的机械智能故障诊断方法
WO2021261611A1 (ko) * 2020-06-23 2021-12-30 엘지전자 주식회사 무선 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
DE102020117638A1 (de) 2020-07-03 2022-01-05 Bayerische Motoren Werke Aktiengesellschaft Computerimplementiertes Verfahren und System zum Validieren einer sensorbasierten Fahrzeugfunktion
WO2022014732A1 (ko) * 2020-07-14 2022-01-20 엘지전자 주식회사 무선 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 장치
CN111898484A (zh) * 2020-07-14 2020-11-06 华中科技大学 生成模型的方法、装置、可读存储介质及电子设备
CN111856934B (zh) * 2020-07-16 2022-11-15 南京大量数控科技有限公司 一种同构智能车间之间的联邦学习数据处理算法
EP4182854A1 (en) * 2020-07-17 2023-05-24 Telefonaktiebolaget LM Ericsson (publ) Federated learning using heterogeneous labels
CN111882133B (zh) * 2020-08-03 2022-02-01 重庆大学 一种基于预测的联邦学习通信优化方法及系统
US20220044117A1 (en) * 2020-08-06 2022-02-10 Nec Laboratories America, Inc. Federated learning for anomaly detection
CN111970277B (zh) * 2020-08-18 2022-09-27 中国工商银行股份有限公司 基于联邦学习的流量识别方法及装置
US11909482B2 (en) * 2020-08-18 2024-02-20 Qualcomm Incorporated Federated learning for client-specific neural network parameter generation for wireless communication
EP4165828A4 (en) 2020-09-03 2023-11-29 Samsung Electronics Co., Ltd. METHOD AND WIRELESS COMMUNICATION NETWORKS FOR HANDLING A DATA-DRIVEN MODEL
US11620583B2 (en) * 2020-09-08 2023-04-04 International Business Machines Corporation Federated machine learning using locality sensitive hashing
US20230325711A1 (en) * 2020-09-18 2023-10-12 Telefonaktiebolaget Lm Ericsson (Publ) Methods and systems for updating machine learning models
US11914678B2 (en) 2020-09-23 2024-02-27 International Business Machines Corporation Input encoding for classifier generalization
US20220101204A1 (en) * 2020-09-25 2022-03-31 Qualcomm Incorporated Machine learning component update reporting in federated learning
CN112235062A (zh) * 2020-10-10 2021-01-15 中国科学技术大学 一种对抗通信噪声的联邦学习方法和系统
CN112307331B (zh) * 2020-10-14 2023-11-24 湖南天河国云科技有限公司 一种基于区块链高校毕业生智能招聘信息推送方法、系统及终端设备
CN112232519B (zh) * 2020-10-15 2024-01-09 成都数融科技有限公司 一种基于联邦学习的联合建模方法
US20220124518A1 (en) * 2020-10-15 2022-04-21 Qualcomm Incorporated Update resolution signaling in federated learning
CN112329947A (zh) * 2020-10-28 2021-02-05 广州中国科学院软件应用技术研究所 一种基于差分进化的联邦学习激励方法和系统
EP4238357A1 (en) * 2020-10-29 2023-09-06 Telefonaktiebolaget LM Ericsson (publ) Energy aware communication identification in telecommunications network
CN112288101A (zh) * 2020-10-29 2021-01-29 平安科技（深圳）有限公司 基于联邦学习的gbdt与lr融合方法、装置、设备和存储介质
CN112464278B (zh) * 2020-11-24 2023-07-21 平安科技（深圳）有限公司 基于非均匀分布数据的联邦建模方法及相关设备
EP4009220A1 (en) * 2020-12-03 2022-06-08 Fujitsu Limited Method and apparatus for decentralized supervised learning in nlp applications
US20220180251A1 (en) * 2020-12-03 2022-06-09 Qualcomm Incorporated Sidelink-assisted update aggregation in federated learning
CN112734050A (zh) * 2020-12-11 2021-04-30 平安科技（深圳）有限公司 文本模型的训练方法、识别方法、装置、设备及存储介质
US20220210140A1 (en) * 2020-12-30 2022-06-30 Atb Financial Systems and methods for federated learning on blockchain
CN112814854B (zh) * 2020-12-31 2022-04-29 新智数字科技有限公司 基于联合学习的涡轮风机维护方法和装置
CN112819177B (zh) * 2021-01-26 2022-07-12 支付宝(杭州)信息技术有限公司 一种个性化的隐私保护学习方法、装置以及设备
US11017322B1 (en) * 2021-01-28 2021-05-25 Alipay Labs (singapore) Pte. Ltd. Method and system for federated learning
WO2022162677A1 (en) * 2021-01-29 2022-08-04 Telefonaktiebolaget Lm Ericsson (Publ) Distributed machine learning with new labels using heterogeneous label distribution
US11711348B2 (en) 2021-02-22 2023-07-25 Begin Ai Inc. Method for maintaining trust and credibility in a federated learning environment
CN112966832B (zh) * 2021-03-31 2022-10-11 上海嗨普智能信息科技股份有限公司 基于多服务器的联邦学习系统
CN113255928B (zh) * 2021-04-29 2022-07-05 支付宝(杭州)信息技术有限公司 模型的训练方法、装置和服务器
EP4083838A1 (en) * 2021-04-30 2022-11-02 Hochschule Karlsruhe Method and system to collaboratively train data analytics model parameters
WO2022244903A1 (ko) * 2021-05-21 2022-11-24 엘지전자 주식회사 무선 통신 시스템에서 연합 학습을 수행하기 위한 방법 및 이를 위한 장치
WO2022261353A1 (en) * 2021-06-09 2022-12-15 Intel Corporation Uses of coded data at multi-access edge computing server
US11443245B1 (en) 2021-07-22 2022-09-13 Alipay Labs (singapore) Pte. Ltd. Method and system for federated adversarial domain adaptation
WO2023022251A1 (ko) * 2021-08-18 2023-02-23 엘지전자 주식회사 무선 통신 시스템에서 신호 전송 방법 및 장치
KR102358186B1 (ko) * 2021-10-05 2022-02-08 주식회사 도어오픈 인공지능 기반의 버츄어 휴먼 인터렉션 생성 장치 및 방법
US11829239B2 (en) 2021-11-17 2023-11-28 Adobe Inc. Managing machine learning model reconstruction
WO2023113401A1 (ko) * 2021-12-17 2023-06-22 주식회사 하렉스인포텍 사용자 중심 인공지능을 이용한 학습 방법
DE102022000473A1 (de) 2022-02-08 2023-08-10 Mercedes-Benz Group AG Verfahren zum Training neuronaler Netze eingerichtet zur Steuerung einer Fahrzeugfunktion sowie ein Fahrzeug und System zur Durchführung des Verfahrens
WO2024007156A1 (zh) * 2022-07-05 2024-01-11 华为技术有限公司 一种通信方法和装置
WO2024025444A1 (en) * 2022-07-25 2024-02-01 Telefonaktiebolaget Lm Ericsson (Publ) Iterative learning with adapted transmission and reception
US11960515B1 (en) 2023-10-06 2024-04-16 Armada Systems, Inc. Edge computing units for operating conversational tools at local sites
US11995412B1 (en) 2023-10-06 2024-05-28 Armada Systems, Inc. Video based question and answer

Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1434406A (zh) * 2001-12-12 2003-08-06 微软公司 用于自适应通信优先级化和路由的系统与方法
US20030236662A1 (en) * 2002-06-19 2003-12-25 Goodman Joshua Theodore Sequential conditional generalized iterative scaling
CN103093445A (zh) * 2013-01-17 2013-05-08 西安电子科技大学 基于联合稀疏约束的统一特征空间图像超分辨重建方法
CN105528620A (zh) * 2015-12-11 2016-04-27 苏州大学 一种联合鲁棒主成分特征学习与视觉分类方法及系统

Family Cites Families (32)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US6708163B1 (en) 1999-02-24 2004-03-16 Hillol Kargupta Collective data mining from distributed, vertically partitioned feature space
US6879944B1 (en) 2000-03-07 2005-04-12 Microsoft Corporation Variational relevance vector machine
US7016529B2 (en) * 2002-03-15 2006-03-21 Microsoft Corporation System and method facilitating pattern recognition
US7069256B1 (en) 2002-05-23 2006-06-27 Oracle International Corporation Neural network module for data mining
US6687653B1 (en) 2002-08-13 2004-02-03 Xerox Corporation Systems and methods for distributed algorithm for optimization-based diagnosis
US20050138571A1 (en) 2003-12-18 2005-06-23 Keskar Dhananjay V. Dynamic detection of device characteristics
US7664249B2 (en) 2004-06-30 2010-02-16 Microsoft Corporation Methods and interfaces for probing and understanding behaviors of alerting and filtering systems based on models and simulation from logs
US20060224579A1 (en) 2005-03-31 2006-10-05 Microsoft Corporation Data mining techniques for improving search engine relevance
US20080209031A1 (en) 2007-02-22 2008-08-28 Inventec Corporation Method of collecting and managing computer device information
US8649375B2 (en) 2008-05-30 2014-02-11 Telecom Italia S.P.A. Method and devices for multicast distribution optimization
US20100132044A1 (en) 2008-11-25 2010-05-27 International Business Machines Corporation Computer Method and Apparatus Providing Brokered Privacy of User Data During Searches
US8239396B2 (en) 2009-03-20 2012-08-07 Oracle International Corporation View mechanism for data security, privacy and utilization
US8018874B1 (en) 2009-05-06 2011-09-13 Hrl Laboratories, Llc Network optimization system implementing distributed particle swarm optimization
TWI396105B (zh) 2009-07-21 2013-05-11 Univ Nat Taiwan 用於模擬個體差異之個人化資訊檢索之數位資料處理方法及其電腦裝置可讀式資訊儲存媒體與資訊檢索系統
JP5584914B2 (ja) 2010-07-15 2014-09-10 株式会社日立製作所 分散計算システム
US8612368B2 (en) 2011-03-01 2013-12-17 International Business Machines Corporation Systems and methods for processing machine learning algorithms in a MapReduce environment
US8954357B2 (en) 2011-05-12 2015-02-10 Xerox Corporation Multi-task machine learning using features bagging and local relatedness in the instance space
US8898096B2 (en) 2011-05-31 2014-11-25 Oracle International Corporation Application configuration generation
US8429103B1 (en) 2012-06-22 2013-04-23 Google Inc. Native machine learning service for user adaptation on a mobile platform
US9390370B2 (en) 2012-08-28 2016-07-12 International Business Machines Corporation Training deep neural network acoustic models using distributed hessian-free optimization
US9093069B2 (en) 2012-11-05 2015-07-28 Nuance Communications, Inc. Privacy-sensitive speech model creation via aggregation of multiple user models
US9275398B1 (en) 2012-12-10 2016-03-01 A9.Com, Inc. Obtaining metrics for client-side display of content
US9390383B2 (en) 2013-01-28 2016-07-12 Georges Harik Method for an optimizing predictive model using gradient descent and conjugate residuals
US9190055B1 (en) 2013-03-14 2015-11-17 Amazon Technologies, Inc. Named entity recognition with personalized models
US9400955B2 (en) * 2013-12-13 2016-07-26 Amazon Technologies, Inc. Reducing dynamic range of low-rank decomposition matrices
US9734457B2 (en) 2013-12-31 2017-08-15 Cisco Technology, Inc. Learning data processor for distributing learning machines across large-scale network infrastructures
US10425294B2 (en) 2014-01-06 2019-09-24 Cisco Technology, Inc. Distributed and learning machine-based approach to gathering localized network dynamics
US9563854B2 (en) 2014-01-06 2017-02-07 Cisco Technology, Inc. Distributed model training
US20150242760A1 (en) 2014-02-21 2015-08-27 Microsoft Corporation Personalized Machine Learning System
US20150324690A1 (en) * 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System
US9336483B1 (en) 2015-04-03 2016-05-10 Pearson Education, Inc. Dynamically updated neural network structures for content distribution networks
US20180075347A1 (en) * 2016-09-15 2018-03-15 Microsoft Technology Licensing, Llc Efficient training of neural networks

Patent Citations (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN1434406A (zh) * 2001-12-12 2003-08-06 微软公司 用于自适应通信优先级化和路由的系统与方法
US20030236662A1 (en) * 2002-06-19 2003-12-25 Goodman Joshua Theodore Sequential conditional generalized iterative scaling
CN103093445A (zh) * 2013-01-17 2013-05-08 西安电子科技大学 基于联合稀疏约束的统一特征空间图像超分辨重建方法
CN105528620A (zh) * 2015-12-11 2016-04-27 苏州大学 一种联合鲁棒主成分特征学习与视觉分类方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
DEAN J 等: "Large Scale Distributed Deep Networks", 《ADVANCES IN NEURAL INFORMATION PROCESSING SYSTEMS》 *
H. BRENDAN MCMAHAN 等: "Federated Learning of Deep Networks using Model Averaging", 《COMPUTER SCIENCE》 *
HAO ZHANG 等: "Poseidon: A System Architecture for Efficient GPU-based Deep Learning on Multiple Machines", 《HIGH PERFORMANCE COMPUTING ON GRAPHICS PROCESSING UNITS》 *
NEDIC A 等: "On Distributed Averaging Algorithms and Quantization Effects", 《IEEE TRANSACTIONS ON AUTOMATIC CONTROL》 *
陈晓璇 等: "基于低秩矩阵恢复和联合学习的图像超分辨率重建", 《计算机学报》 *

Cited By (62)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN112424797B (zh) * 2018-05-17 2024-07-12 弗劳恩霍夫应用研究促进协会 神经网络的分布式学习和/或其参数化更新的传输的概念
CN112424797A (zh) * 2018-05-17 2021-02-26 弗劳恩霍夫应用研究促进协会 神经网络的分布式学习和/或其参数化更新的传输的概念
CN110738323A (zh) * 2018-07-03 2020-01-31 百度在线网络技术（北京）有限公司 基于数据共享建立机器学习模型的方法和装置
WO2020029590A1 (zh) * 2018-08-10 2020-02-13 深圳前海微众银行股份有限公司 基于联邦训练的样本预测方法、装置及存储介质
CN109325584A (zh) * 2018-08-10 2019-02-12 深圳前海微众银行股份有限公司 基于神经网络的联邦建模方法、设备及可读存储介质
CN109165725A (zh) * 2018-08-10 2019-01-08 深圳前海微众银行股份有限公司 基于迁移学习的神经网络联邦建模方法、设备及存储介质
CN109255444B (zh) * 2018-08-10 2022-03-29 深圳前海微众银行股份有限公司 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109255444A (zh) * 2018-08-10 2019-01-22 深圳前海微众银行股份有限公司 基于迁移学习的联邦建模方法、设备及可读存储介质
CN109145984B (zh) * 2018-08-20 2022-03-25 联想(北京)有限公司 用于机器训练的方法和装置
CN109145984A (zh) * 2018-08-20 2019-01-04 联想(北京)有限公司 用于机器训练的方法和装置
CN109460826A (zh) * 2018-10-31 2019-03-12 北京字节跳动网络技术有限公司 用于分发数据的方法、装置和模型更新系统
CN109657055A (zh) * 2018-11-09 2019-04-19 中山大学 基于层次混合网络的标题党文章检测方法及联邦学习策略
CN109711556A (zh) * 2018-12-24 2019-05-03 中国南方电网有限责任公司 机巡数据处理方法、装置、网级服务器和省级服务器
WO2020168761A1 (zh) * 2019-02-22 2020-08-27 华为技术有限公司 训练模型的方法和装置
CN111680798A (zh) * 2019-03-11 2020-09-18 人工智能医生股份有限公司 联合学习模型系统和方法、装置和计算机可读存储介质
CN111796517A (zh) * 2019-04-01 2020-10-20 辉达公司 使用神经网络进行任务模拟
WO2020210979A1 (zh) * 2019-04-16 2020-10-22 华为技术有限公司 基于区块链网络的联合学习方法和联合学习设备
CN112166445A (zh) * 2019-04-16 2021-01-01 华为技术有限公司 基于区块链网络的联合学习方法和联合学习设备
CN110348241B (zh) * 2019-07-12 2021-08-03 之江实验室 一种数据共享策略下的多中心协同预后预测系统
CN110348241A (zh) * 2019-07-12 2019-10-18 之江实验室 一种数据共享策略下的多中心协同预后预测系统
CN112347754A (zh) * 2019-08-09 2021-02-09 国际商业机器公司 建立联合学习框架
WO2020259717A1 (zh) * 2019-08-26 2020-12-30 深圳前海微众银行股份有限公司 联邦学习系统的控制方法、装置、终端设备及存储介质
WO2021036014A1 (zh) * 2019-08-28 2021-03-04 深圳前海微众银行股份有限公司 联邦学习信用管理方法、装置、设备及可读存储介质
WO2021051610A1 (zh) * 2019-09-20 2021-03-25 平安科技（深圳）有限公司 数据的训练方法及装置、系统
CN110674528A (zh) * 2019-09-20 2020-01-10 深圳前海微众银行股份有限公司 联邦学习隐私数据处理方法、设备、系统及存储介质
CN110674528B (zh) * 2019-09-20 2024-04-09 深圳前海微众银行股份有限公司 联邦学习隐私数据处理方法、设备、系统及存储介质
CN110795477A (zh) * 2019-09-20 2020-02-14 平安科技（深圳）有限公司 数据的训练方法及装置、系统
WO2021051629A1 (zh) * 2019-09-20 2021-03-25 深圳前海微众银行股份有限公司 联邦学习隐私数据处理方法、设备、系统及存储介质
WO2021056760A1 (zh) * 2019-09-24 2021-04-01 深圳前海微众银行股份有限公司 联邦学习数据加密方法、装置、设备及可读存储介质
CN112580815A (zh) * 2019-09-27 2021-03-30 西门子医疗有限公司 用于可扩展和去中心化增量机器学习的方法和系统
CN114503505A (zh) * 2019-10-16 2022-05-13 国际商业机器公司 从分布式网络中的有噪声的数值数据学习模式字典
CN110909865B (zh) * 2019-11-18 2022-08-30 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN110909865A (zh) * 2019-11-18 2020-03-24 福州大学 边缘计算中基于分层张量分解的联邦学习方法
CN111062044A (zh) * 2019-12-09 2020-04-24 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
CN111062044B (zh) * 2019-12-09 2021-03-23 支付宝(杭州)信息技术有限公司 基于区块链的模型联合训练方法及装置
WO2021143477A1 (zh) * 2020-01-16 2021-07-22 支付宝(杭州)信息技术有限公司 融合公域数据和私有数据的联盟学习方法、装置和系统
CN110874650A (zh) * 2020-01-16 2020-03-10 支付宝(杭州)信息技术有限公司 融合公域数据和私有数据的联盟学习方法、装置和系统
CN111310932A (zh) * 2020-02-10 2020-06-19 深圳前海微众银行股份有限公司 横向联邦学习系统优化方法、装置、设备及可读存储介质
CN113312543A (zh) * 2020-02-27 2021-08-27 华为技术有限公司 基于联合学习的个性化模型训练方法、电子设备和介质
CN113326946A (zh) * 2020-02-29 2021-08-31 华为技术有限公司 更新应用识别模型的方法、装置及存储介质
CN113497785B (zh) * 2020-03-20 2023-05-12 深信服科技股份有限公司 恶意加密流量检测方法、系统、存储介质和云端服务器
CN113497785A (zh) * 2020-03-20 2021-10-12 深信服科技股份有限公司 恶意加密流量检测方法、系统、存储介质和云端服务器
CN111553483B (zh) * 2020-04-30 2024-03-29 同盾控股有限公司 基于梯度压缩的联邦学习的方法、装置及系统
CN111553484B (zh) * 2020-04-30 2023-09-08 同盾控股有限公司 联邦学习的方法、装置及系统
CN111553484A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 联邦学习的方法、装置及系统
CN111553483A (zh) * 2020-04-30 2020-08-18 同盾控股有限公司 基于梯度压缩的联邦学习的方法、装置及系统
CN112036580A (zh) * 2020-05-15 2020-12-04 支付宝(杭州)信息技术有限公司 用于联盟学习的方法、装置及联盟学习系统
CN111340243A (zh) * 2020-05-15 2020-06-26 支付宝(杭州)信息技术有限公司 用于联盟学习的方法、装置及联盟学习系统
CN113988254A (zh) * 2020-07-27 2022-01-28 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
CN113988254B (zh) * 2020-07-27 2023-07-14 腾讯科技（深圳）有限公司 用于多个环境的神经网络模型的确定方法及装置
CN111967609A (zh) * 2020-08-14 2020-11-20 深圳前海微众银行股份有限公司 模型参数验证方法、设备及可读存储介质
CN111967609B (zh) * 2020-08-14 2021-08-06 深圳前海微众银行股份有限公司 模型参数验证方法、设备及可读存储介质
TWI775170B (zh) * 2020-09-30 2022-08-21 新漢股份有限公司 Cpu應用於人工智慧相關程序時的執行方法
US20220105754A1 (en) * 2020-10-02 2022-04-07 Sumitomo Rubber Industries, Ltd. Tire
CN112418446B (zh) * 2020-11-18 2024-04-09 脸萌有限公司 模型处理方法、系统、装置、介质及电子设备
CN112418446A (zh) * 2020-11-18 2021-02-26 脸萌有限公司 模型处理方法、系统、装置、介质及电子设备
US11847504B2 (en) 2020-12-16 2023-12-19 Nexcom International Co., Ltd. Method for CPU to execute artificial intelligence related processes
CN113361598A (zh) * 2021-06-04 2021-09-07 重庆大学 基于分布式学习的模型训练方法、服务器及分布式系统
CN113361598B (zh) * 2021-06-04 2022-10-11 重庆大学 基于分布式学习的模型训练方法、服务器及分布式系统
WO2022267870A1 (zh) * 2021-06-24 2022-12-29 中兴通讯股份有限公司 指标优化方法及服务器、计算机可读存储介质
CN113537512B (zh) * 2021-07-15 2024-03-15 卡奥斯工业智能研究院(青岛)有限公司 基于联邦学习的模型训练方法、装置、系统、设备和介质
CN113537512A (zh) * 2021-07-15 2021-10-22 青岛海尔工业智能研究院有限公司 基于联邦学习的模型训练方法、装置、系统、设备和介质

Also Published As

Publication number Publication date
DE102017122240A1 (de) 2018-03-29
EP3494522A1 (en) 2019-06-12
EP3660754B1 (en) 2023-11-01
EP3494522B1 (en) 2020-01-08
US20190340534A1 (en) 2019-11-07
CN107871160B (zh) 2021-09-10
US10657461B2 (en) 2020-05-19
CN113837357A (zh) 2021-12-24
WO2018057302A1 (en) 2018-03-29
EP4276711A2 (en) 2023-11-15
EP4276711A3 (en) 2024-01-17
DE202017105829U1 (de) 2018-01-02
US11763197B2 (en) 2023-09-19
US20200242514A1 (en) 2020-07-30
GB2556981A (en) 2018-06-13
EP3660754A1 (en) 2020-06-03
GB201715517D0 (en) 2017-11-08
US20230376856A1 (en) 2023-11-23
US20180089587A1 (en) 2018-03-29

Similar Documents

Publication Publication Date Title
CN107871160A (zh) 通信高效联合学习
US11023561B2 (en) Systems and methods of distributed optimization
US11531932B2 (en) Systems and methods for compression and distribution of machine learning models
CN107622302A (zh) 用于卷积神经网络的超像素方法
CN108573304A (zh) 硬件中转置神经网络矩阵
CN109074512A (zh) 使用神经网络压缩图像
CN107690663A (zh) 白化神经网络层
US20190279092A1 (en) Convolutional Neural Network Compression
CN114514519A (zh) 使用异构模型类型和架构的联合学习
CN102378978A (zh) 变换的快速和存储有效实现的方法
CN113077056A (zh) 基于横向联邦学习的数据处理系统
CN112634019A (zh) 基于细菌觅食算法优化灰色神经网络的违约概率预测方法
CN115600686A (zh) 基于个性化Transformer的联邦学习模型训练方法及联邦学习系统
CN117350373B (zh) 一种基于局部自注意力机制的个性化联邦聚合算法
CN110189385A (zh) 模型训练及图片压缩、解压方法、装置、介质和电子设备
Xue et al. Aggregation delayed federated learning
CN108230253A (zh) 图像恢复方法、装置、电子设备和计算机存储介质
Tang et al. Fundamental matrix estimation by multiobjective genetic algorithm with Taguchi's method
TW201935277A (zh) 資料減量及建立資料識別模型的方法、電腦系統及電腦可讀取的記錄媒體
Ma et al. A Priori knowledge based secure payload estimation
CN110163202A (zh) 文字区域的定位方法、装置、终端设备及介质
WO2023225552A1 (en) Decentralized federated learning using a random walk over a communication graph
CN117076090A (zh) 任务模型的构建方法、装置、设备及计算机可读存储介质
Muruganandham et al. Effective MSE optimization in fractal image compression

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
CB02 Change of applicant information
CB02 Change of applicant information

Address after: American California

Applicant after: Google limited liability company

Address before: American California

Applicant before: Google Inc.

GR01 Patent grant
GR01 Patent grant