CN110268423A - 用于深度学习模型的分布式训练的系统和方法 - Google Patents

用于深度学习模型的分布式训练的系统和方法 Download PDF

Info

Publication number
CN110268423A
CN110268423A CN201780064431.6A CN201780064431A CN110268423A CN 110268423 A CN110268423 A CN 110268423A CN 201780064431 A CN201780064431 A CN 201780064431A CN 110268423 A CN110268423 A CN 110268423A
Authority
CN
China
Prior art keywords
local
deep learning
input data
learning model
local device
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CN201780064431.6A
Other languages
English (en)
Inventor
D·莫洛尼
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Movidius Ltd Netherland
Original Assignee
Movidius Ltd Netherland
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Movidius Ltd Netherland filed Critical Movidius Ltd Netherland
Priority to CN202311499504.8A priority Critical patent/CN117556888A/zh
Publication of CN110268423A publication Critical patent/CN110268423A/zh
Pending legal-status Critical Current

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/21—Design or setup of recognition systems or techniques; Extraction of features in feature space; Blind source separation
    • G06F18/214—Generating training patterns; Bootstrap methods, e.g. bagging or boosting
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24133—Distances to prototypes
    • G06F18/24137—Distances to cluster centroïds
    • G06F18/2414—Smoothing the distance, e.g. radial basis function networks [RBFN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/46—Multiprogramming arrangements
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0464—Convolutional networks [CNN, ConvNet]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/0499—Feedforward networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/098—Distributed learning, e.g. federated learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/40—Extraction of image or video features
    • G06V10/44—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components
    • G06V10/443—Local feature extraction by analysis of parts of the pattern, e.g. by detecting edges, contours, loops, corners, strokes or intersections; Connectivity analysis, e.g. of connected components by matching or filtering
    • G06V10/449—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters
    • G06V10/451—Biologically inspired filters, e.g. difference of Gaussians [DoG] or Gabor filters with interaction between the filter responses, e.g. cortical complex cells
    • G06V10/454—Integrating the filters into a hierarchical structure, e.g. convolutional neural networks [CNN]
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/764—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using classification, e.g. of video objects
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/70—Arrangements for image or video recognition or understanding using pattern recognition or machine learning
    • G06V10/82—Arrangements for image or video recognition or understanding using pattern recognition or machine learning using neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/94—Hardware or software architectures specially adapted for image or video understanding
    • G06V10/95—Hardware or software architectures specially adapted for image or video understanding structured as a network, e.g. client-server architectures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06V—IMAGE OR VIDEO RECOGNITION OR UNDERSTANDING
    • G06V10/00—Arrangements for image or video recognition or understanding
    • G06V10/96—Management of image or video recognition tasks
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • General Physics & Mathematics (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Health & Medical Sciences (AREA)
  • General Health & Medical Sciences (AREA)
  • Computing Systems (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Data Mining & Analysis (AREA)
  • General Engineering & Computer Science (AREA)
  • Biomedical Technology (AREA)
  • Molecular Biology (AREA)
  • Multimedia (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Databases & Information Systems (AREA)
  • Medical Informatics (AREA)
  • Biodiversity & Conservation Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Evolutionary Biology (AREA)
  • Computer Networks & Wireless Communication (AREA)
  • Signal Processing (AREA)
  • Management, Administration, Business Operations System, And Electronic Commerce (AREA)
  • Feedback Control In General (AREA)

Abstract

公开了用于深度学习模型的分布式训练的系统和方法。用于训练深度学习模型的示例本地设备包括：参考生成器，用于标记在本地设备处接收的输入数据以生成训练数据；训练器，用于训练局部深度学习模型以及将局部深度学习模型发送到服务器，该服务器从多个本地设备接收多个局部深度学习模型，服务器用于确定用于全局深度学习模型的一组权重，以及更新器，用于基于从服务器接收的一组权重来更新局部深度学习模型。

Description

用于深度学习模型的分布式训练的系统和方法
相关申请
本申请要求美国临时专利申请序列号62/377、094的于2016年8月19日提交的题为“Systems and Methods for Distributed Training of Deep Learning Models”的权益。美国临时专利申请序列号62/377、094的全部内容通过引用并入本文。
技术领域
本申请一般涉及机器学习，并且更具体地涉及用于深度学习模型的分布式训练的系统和方法。
背景技术
深度学习是机器学习的一个分支，它在许多应用中提供最先进的性能，包括计算机视觉、语音处理、自然语言处理和音频识别。深度学习使用类似于大脑中神经元的结构的计算模型。特别地，深度学习的计算模型(下文称为深度学习模型)使用“人工神经元”层来对计算模型的期望功能进行建模。每个人工神经元与一个或多个权重相关联，当人工神经元在聚合体中操作时，可以调整(例如，训练)这些权重以提供期望的功能。
可以使用训练数据来训练深度学习模型中的权重。训练数据可以包括输入数据和与输入数据相关联的标记。可以以这样的方式训练(或确定)深度学习模型中的权重：当深度学习模型接收输入数据时，深度学习模型输出对应于输入数据的标记。
附图说明
当结合以下附图考虑时，参考以下对所公开主题的详细描述，可以更全面地理解所公开的主题的各种目的、特征和优点，其中相同的附图标记表示相同的元件。
图1是根据一些实施例的包括主机服务器和多个本地设备的示例分布式深度学习训练平台的框图。
图2是根据一些实施例的本地设备的示例实现的框图。
图3是表示机器可读指令的流程图，该机器可读指令可以被执行以实现图1和/或图2的本地设备和主机服务器。
图4-图5是根据一些实施例的本地设备的示例实现的框图
图6示出了根据一些实施例的用于图1的操作者控制台的用户界面的示例布局。。
图7示出了根据一些实施例的由图1的本地设备和主机服务器支持的示例应用编程接口(API)。
图8-图9是被构造以执行图3的指令以实现图1和/或图2的本地设备和主机服务器的示例处理平台的框图。
具体实施方式
在以下描述中，阐述了关于所公开的主题的系统和方法以及这些系统和方法可以在其中操作的环境等的许多具体细节，以便提供对所公开的主题的透彻理解。然而，对于本领域技术人员显而易见的是，可以在没有这些具体细节的情况下实践所公开的主题，并且没有详细描述本领域公知的某些特征以避免使所公开的主题复杂化。另外，应当理解，下面提供的实施例是示例，并且预期存在在所公开的主题的范围内的其他系统和方法。
深度学习中的挑战中的一项是训练深度学习模型中的权重。深度学习模型中的权重通常使用集中式深度学习训练平台进行训练。集中式深度学习训练平台包括主机服务器和多个本地设备。每个本地设备可以收集输入数据并将输入数据发送到主机服务器。主机服务器可以聚合从每个本地设备接收的输入数据，通过将期望的标记与聚合的输入数据相关联来从聚合的输入数据创建训练数据集，并且使用训练数据集来训练深度学习模型(例如，深度学习模型的权重)。
不幸的是，集中式深度学习训练平台是计算上昂贵的，特别是当训练数据集很大时，因为它难以确定并关联用于训练数据集中的输入数据的正确标记。这种大规模的标记工作仅对具有大量资源的实体是现实的。此外，集中式深度学习训练平台需要大量数据通信带宽，因为主机服务器必须从大量本地设备接收大量输入数据。此外，集中式深度学习训练平台易于受到隐私妥协，因为本地设备必须与主机服务器共享原始输入数据，而原始输入数据可包括私人信息。
为了利用集中式训练解决这些问题，本文公开的系统和方法提供用于训练深度学习模型的分布式训练平台。示例分布式训练平台包括主机服务器和多个本地设备。多个本地设备中的每一个被配置为接收输入数据。与集中式方法相反，分布式系统中的每个示例本地设备被配置为在局部标记输入数据以创建局部训练数据集，并使用局部训练数据集来训练局部深度学习模型。由于训练数据集是在本地设备处局部创建的，因此主机服务器不需要确定标记并将其与大量输入数据相关联。因此，主机服务器从创建大型训练数据集的计算上昂贵的过程中解脱出来。
一旦训练了局部深度学习模型(例如，确定了局部深度学习模型的权重)，每个本地设备就可以将其局部深度学习模型的权重发送到主机服务器。这与本地设备将原始输入数据发送到主机服务器的集中式方法形成对比。由于输入数据本身不会被发送到主机服务器，因此本地设备不会被迫共享在输入数据中的私人信息，从而降低了隐私泄露的可能性。
当主机服务器从本地设备接收权重时，主机服务器可以聚合权重以确定聚合的权重。如果主机服务器使用本地设备使用的所有训练数据集训练深度学习模型，则聚合的权重近似于已获得的深度学习模型的权重。通过利用由本地设备对权重的分布式计算，主机服务器可以确定深度学习模型的近似的权重，而无需自身实际训练深度学习模型。从某种意义上说，主机服务器以众包的方式从本地设备中进行对深度学习模型的训练。
在一些示例中，所公开的分布式训练平台是有益的，因为(1)它允许主机服务器学习深度学习模型，其考虑所有可用信息(例如，训练数据)并将全局学习的深度学习模型提供给本地设备，以及(2)它允许本地设备采用全局学习的深度学习模型，并调整它以考虑任何局部变化。因此，所公开的分布式训练平台为“全局训练，适应局部化”提供了深度学习范例。
在一些实施例中，分布式深度学习训练平台可用于训练用于自动白平衡的深度学习模型或用于处理主要原始输入图像的其他图像处理系统。在其他实施例中，分布式深度学习训练平台可用于训练深度学习模型，以用于使用加速度计输入信号来检测运动的状态(例如，在休息、行走或跑步时)。在其他实施例中，分布式深度学习训练平台可用于训练深度学习模型，以用于检测音频命令或事件。可替换地，所公开的深度学习训练平台可以用于期望机器学习的任何任务。
图1是根据一些实施例的示例分布式深度学习训练平台100的框图。示例平台100包括经由示例网络106与示例主机服务器104通信地耦合的多个示例本地设备102。根据所示示例，主机服务器104与示例操作者终端108耦合以允许操作者控制主机服务器104的操作。为清楚起见，在整个本公开中，参考单个本地设备102，其可以代表多个本地设备102中的一个或多个。
示例本地设备102是如下计算设备，其接收输入数据、训练局部深度学习模型，并将局部深度学习模型(或其特性)发送到主机服务器。根据所示的示例，输入数据直接在第一本地设备处接收而不通过示例主机服务器104。如本文所使用的，声明在本地设备102处直接接收输入数据被定义为表示直接从数据源接收数据或者间接从数据源接收数据，其中数据不通过正在执行深度学习训练的主机服务器(例如，主机服务器104)。在一些示例中，可以从本地设备102的传感器(例如，测量设备、数据输入、数据收集器、接受用户输入的用户界面等)接收输入数据，可以从这样的传感器接收输入数据，该传感器通信地耦合(例如，直接耦合到本地设备，经由一个或多个中间设备(例如，除主机服务器104之外的中间设备)等)耦合到本地设备102等。
结合图2更详细地描述示例设备102。
示例主机服务器104聚合从多个本地设备102接收的局部深度学习模型数据，并将聚合的结果分发回多个本地设备102。示例主机服务器104包括示例权重聚合器110、示例权重分配器112和示例全局深度学习训练器114。
示例权重聚合器110从多个本地设备102接收局部深度学习模型的权重，并聚合权重以确定聚合的权重。示例权重聚合器110通过对从本地设备102接收的相对应的权重求平均来聚合权重。例如，当权重聚合器110从第一本地设备102接收第一组权重(a_l，b_l，c_l)并且从第二本地设备102接收第二组权重(a_2，b_2，c_2)，示例权重聚合器110平均来自本地设备102的对应权重以确定聚合的权重：((a_l+a_2)/2，(b_l+b_2)/2，(c_l+c_2)/2)。在一些示例中，权重聚合器110可以通过仅聚合与深度学习模型中的较深层相关联的权重来简化权重聚合过程。
一旦权重聚合器110确定聚合的权重，示例权重聚合器110就将聚合的权重提供给示例权重分布器112。
示例权重分布器112将聚合的权重提供给本地设备102，使得本地设备102可以使用聚合的权重来更新它们自己的局部深度学习模型。示例权重分布器112包括网络接口(例如，有线网络接口和/或无线网络接口)，其用于经由示例网络106将聚合的权重发送到多个本地设备102。可替换地，权重分配器112可以将经由直接连接、经由可移除存储设备进将聚合的权重传送到本地设备。
示例主机服务器104包括示例全局深度学习训练器114，以使用训练数据来训练全局深度学习模型。全局深度学习训练器114可以被配置为使用各种训练技术训练全局深度学习模型，所述各种训练技术包括例如反向传播、对比发散、乘法器的替代方向方法(ADMM)和/或张量因子分解。例如，当本地设备102将输入数据提供给示例主机服务器104时，主机服务器104可以包括全局深度学习训练器114。可替代地，在一些示例中，主机服务器104可以不包括全局深度学习训练器114。
在一些示例中，除了将聚合的权重提供给权重分配器112之外或作为替代，权重聚合器110将聚合的权重提供给全局深度学习训练器114。例如，全局深度学习训练器114可以利用主机服务器104处可用的任何训练数据来更新聚合的权重，并且将更新的聚合的权重提供给权重分布器112以便分发给本地设备102。
在一些示例中，主机服务器104和多个本地设备102彼此协作以创建全局深度学习模型，其考虑所有本地设备102和/或主机服务器104可用的所有训练数据集。
示例网络106是将本地设备102通信地耦合到主机服务器104的广域网。例如，网络106可以是互联网。可替代地，可以使用任何其他类型的网络，例如，局域网、无线网络、有线网络或网络的任何组合。
示例操作者终端108是提供用户界面的计算设备，在该用户界面中人类操作者可以与主机服务器104交互并控制其操作。例如，人类操作者可以查看权重聚合过程，查看操作状态等。结合图6描述用于操作者终端108的示例用户界面。
在平台100的示例操作中，本地设备102接收输入数据(例如，从耦合到本地设备102的传感器或其他输入)。为了确保隐私、限制带宽使用等，根据该示例，本地设备102不将输入数据发送到主机服务器104。示例本地设备102使用输入数据训练相应的局部深度学习模型。示例本地设备102将相应局部深度学习模型的权重和/或其他细节发送到示例主机服务器104。示例主机服务器104的示例权重聚合器110聚合权重以开发权重的全局集。示例权重分布器112将聚合的权重分发回本地设备102，以用全局聚合的权重更新相应的局部深度学习模型。例如，本地设备102然后可以利用全局更新的相应局部深度学习模型来对测试数据(例如，未被分类或针对其期望分类的数据)进行分类。
图2是图1的本地设备102的示例实现的框图。示例本地设备102包括示例数据接收器202；示例输入采样器204，示例采样控制器206，示例参考发生器210；示例深度学习器212，其包括示例深度学习模型214、示例输出采样器215、示例训练器216和示例更新器218。
示例数据接收器202接收要由示例本地设备102处理的输入数据。例如，数据接收器202可以是传感器、测量设备、网络接口、用户输入设备、用于可移除存储设备的连接等。例如，可以从图像传感器、音频传感器、数据通信信道、用户接口和/或能够向本地设备102提供数据的任何源接收输入数据。
根据所示示例，数据接收器202经由由示例采样控制器206控制的示例输入采样器204将所接收的输入数据提供给示例参考生成器210和示例深度学习器212。例如，输入采样器204可以由输入采样器204对输入数据进行采样，以减小输入数据的大小并简化训练过程。
示例采样控制器206确定应如何对输入数据进行采样。在一些示例中，采样控制器206被配置为选择输入数据中的具有预定大小的一个或多个随机片段，并将随机片段提供给示例参考生成器210和示例深度学习器212。例如，可以使用线性反馈移位寄存器(LFSR)来实现采样控制器206，该线性反馈移位寄存器被配置为选择输入数据的伪随机部分。输入数据的伪随机选择允许示例深度学习器212的示例训练器216使用样本的适当的分布来训练局部深度学习模型214。在一些实现中，LFSR可以用硬件(例如，可编程的硬件)实现。在其他实现中，LFSR可以实现为包括存储在存储器设备中的一组计算机指令的软件模块。
例如，如果输入数据是图像，则采样控制器206可以随机裁剪输入图像的一个或多个部分并将裁剪的部分提供给参考生成器210和深度学习器212。在其他实例中，当输入数据是图像时，采样控制器206可以对输入图像进行下采样并将下采样的输入图像提供给参考生成器210和深度学习器212。
示例参考生成器210处理输入数据以确定与输入数据(或采样的输入数据)相关联的标记。例如，要用于训练的输入数据可以包括标记、分类、结果等的指示。在一些示例中，参考生成器210可以接收标识用于输入数据的标记的用户输入(例如，可以经由用户界面呈现的输入数据并且用户可以为数据选择适当的标记)。参考生成器210输出标记的数据，以用于与将输入数据应用于示例深度学习模型214的结果进行比较。参考生成器210的输出可以由示例输出采样器215采样。
示例局部深度学习模型214接收输入数据(或采样的输入数据)并处理输入数据以确定输出。例如，局部深度学习模型214可以使用由参考生成器210使用的相同标记集来操作。深度学习模型214的输出可以由示例输出采样器215采样。局部深度学习模型214可以包括：例如，深度神经网络、卷积深度神经网络、深度信念网络、递归神经网络等的实现。
根据所示示例，在训练器216分析(1)由参考生成器210确定的标记和(2)深度学习模型214的输出之前，深度输出学习模型214的标记和输出由输出采样器215采样。例如，当要执行的训练量对于例如嵌入式平台而言在计算强度、功率耗散或两方面太过繁重时，可以使用输出采样器215。例如，图像和视频输入数据可以呈现可以通过对输出进行采样来减少的计算复杂度。
示例训练器216确定(1)由参考生成器210确定的标记和(2)示例深度学习模型214的输出之间的差异。示例训练器使用该差异来训练/调整示例局部深度学习模型214。例如。训练器216可以使用各种训练技术训练局部深度学习模型214，各种训练技术包括例如反向传播、对比发散、乘法器的替代方向方法(ADMM)和/或张量因子分解。
根据所示示例，训练器216将与局部深度学习模型214相关联的权重发送到主机服务器104。可替代地，示例训练器216可以发送将局部深度学习模型214和/或输入数据发送到实例主机服务器104。在一些实现中，当请求本地设备102将权重发送到主机服务器104时，训练器216发送权重。可替代地，当深度学习器212已经完成了对局部深度学习模型214的训练时，训练器216可以发送权重。
在一些示例中，当训练器216将权重发送到主机服务器104时，训练器216还可以发送(1)由深度学习器212执行的训练间隔的数量(例如，训练的迭代)和/或(2)描述随时间的误差收敛的时间序列数据。在一些情况下，如果存在难以在局部深度学习模型214上训练的任何输入数据，则训练器216还发送该输入数据，或由局部深度学习模型214输出的一个或多个标记。例如当局部深度学习模型214输出具有用于输入数据的相似置信度水平的两个或更多个标记时，训练器216可以确定输入数据在局部深度学习模型214上训练是具有挑战性的。
示例更新器218从主机服务器104接收聚合的权重，并用聚合的权重更新局部深度学习模型214的权重。例如，更新器218可以用聚合的权重替换局部深度学习模型214的权重。作为另一示例，更新器218可以用(1)局部深度学习模型214的权重和(2)从主机服务器104接收的聚合的权重的加权平均值替换局部深度学习模型214的权重。
在一些示例中，参考生成器210和深度学习器212在其变得可用时处理新输入数据。当训练器216确定完成对局部深度学习模型214的训练时，深度学习器212可以被配置为停止另外的训练。例如，当确定深度学习模型214的准确度已经达到阈值水平，准确度基本上停止增加时等，训练器216可以停止额外训练。可替代地，训练器216可以继续训练，只要给出了来自参考发生器210的额外输入数据和标记。
虽然实现图1的本地设备102的示例方式在图2中，可以以任何其他方式组合、划分、重新布置、省略、消除和/或实现图4中所示的元件、过程和/或设备中的一个或多个。此外，示例数据接收器202、示例输入采样器204、示例采样控制器206、示例参考生成器210、示例训练器216、示例更新器218(和/或更一般地，示例深度学习器212)、示例输出采样器215、和/或更一般地，图1的示例本地设备102可以通过硬件、软件、固件和/或硬件、软件和/或固件的任何组合来实现图1的实例本地设备102。因此，例如，示例数据接收器202、示例输入采样器204、示例采样控制器206、示例参考生成器210、示例训练器216、示例更新器218(和/或更一般地，示例深度学习器212)、示例输出采样器215，和/或更一般地，图1的示例本地设备102中的任何一个可以通过一个或多个模拟或数字电路、逻辑电路、可编程处理器、专用集成电路(ASIC)、可编程逻辑器件(PLD)和/或现场可编程逻辑器件(FPLD)实现。当读取本申请的任何装置或系统权利要求以覆盖纯软件和/或固件实现时，示例数据接收器202、示例输入采样器204、示例采样控制器206、示例参考生成器210、示例训练器216、示例更新器218(和/或更一般地，示例深度学习器212)和/或示例输出采样器215中的至少一个在此明确地定义为包括非暂时性计算机可读存储设备或存储盘，例如存储器、数字通用盘(DVD)、光盘(CD)、蓝光盘等，包括软件和/或固件。此外，图1的示例本地设备102还包括除了图2中所示的那些之外，或者代替图2中所示的那些，可以包括一个或多个元件、过程和/或设备和/或可以包括任何或所有示出的元件、过程和设备中的一个以上。
在图3中示出了表示用于实现图1和图2的本地设备102和/或图1的主机服务器104的示例机器可读指令的流程图。在该示例中，机器可读指令包括用于由处理器执行的程序，所述处理器例如下面结合图8和图9所讨论的示例处理器平台800和/或示例处理器平台900中示出的处理器812和/或处理器912。该程序可以体现在存储在非暂时性计算机可读存储介质上的软件中，所述非暂时性计算机可读存储介质例如CD-ROM、软盘、硬盘驱动器、数字通用盘(DVD)、蓝光盘，或者与处理器812、912相关联的存储器，但是整个程序和/或其部分可以替代地由除处理器812、912之外的设备执行和/或体现在固件或专用硬件中。此外，尽管参考图3中的流程图描述了示例程序，但是可以替代地使用实现示例本地设备102和/或主机服务器104的许多其他方法。例如，可以改变块的执行顺序，和/或可以改变、消除或组合所描述的块中的一些。附加地或替代地，任何或所有块可以由一个或多个硬件电路(例如，离散和/或集成模拟和/或数字电路、现场可编程门阵列(FPGA)、专用集成电路(ASIC)、比较器、运算放大器(op-amp)、逻辑电路等)实现，所述硬件电路被构造成在不执行软件或固件的情况下执行相对应的操作。
如上所述，图3的示例过程包括：可以使用存储在非暂时性计算机和/或机器可读介质(例如硬盘驱动器、闪存、只读存储器、光盘、数字通用盘、高速缓存、随机存取存储器和/或其中信息被存储任何持续时间(例如，对于延长的时间段、永久地，对于短暂的实例，用于临时缓冲，和/或用于缓存信息)的任何其他存储设备或存储磁盘)上的编码指令(例如，计算机和/或机器可读指令)来实现图3的示例过程。如本文所使用的，术语非暂时性计算机可读介质明确地定义为包括任何类型的计算机可读存储设备和/或存储盘并且排除传播信号并排除传输介质。“包括”和“包含”(及其所有形式和时态)在本文中用作开放式术语。因此，每当权利要求列出任何形式的“包括”或“包含”(例如，包括、含有、包含、包括了等)之后的任何内容时，应理解可以存在附加要素，术语等而不落入相对应的权利要求的范围之外。如这里所使用的，当短语“至少”被用作权利要求的前序中的过渡术语时，其以与术语“包含”和“包括了”是开放式的相同方式是开放式的。
当示例本地设备102的示例数据接收器202接收输入数据时，图3的程序开始于框302。输入数据可以从各种数据源接收，所述数据源包括例如图像传感器、音频传感器、数据通信信道、用户接口和/或能够向第一本地设备102提供数据的任何源。
示例参考生成器210确定与输入数据相关联的标记(框304)。例如，参考生成器210可以在由示例输入采样器304和示例采样控制器206采样之后确定用于输入数据的标记。在一些示例中，参考生成器210可以通过使输入数据在参考系统上操作来确定标记。参考系统可以是由深度学习模型建模的目标系统。换句话说，参考系统可以指的是由全局DLM学习的输入-输出关系(例如，传递函数)。在一些实施例中，参考系统可以在硬件中实现为集成芯片；在其他实施例中，参考系统可以实现为软件模块，该软件模块包括由处理器可执行的一组计算机指令。
示例训练器216训练示例局部深度学习模型214(框306)。例如，根据图2所示的示例，训练器216基于由示例参考生成器210指示的标记与应用于示例深度学习模型214的输入数据的输出之间的差异来训练深度学习模型214。
本地设备102的示例训练器216将与局部深度学习模型214相关联的权重发送到主机服务器104(框308)。例如，训练器216可以响应于来自主机服务器104的请求来传送权重，一旦训练器216确定局部深度学习模型214的训练完成等，就可以传递权重。
根据所示示例，框302-308的过程由多个本地设备102并行执行。
当示例主机服务器104的示例权重聚合器110从本地设备102接收权重时，示例权重聚合器110聚合来自本地设备102的所接收的权重(框310)。根据所示示例，权重聚合器110计算权重的平均值以确定聚合的权重。在其他示例中，权重聚合器110通过为各个权重创建标准偏差并滤除异常值来聚合权重。
示例权重分布器112将聚合的权重发送到本地设备102(框312)。
在一些示例中，在存在针对各个权重的多个分布的情况下，来自这些各个分布的异常值可以由权重聚合器110过滤掉，并且针对过滤分布中的每个可以生成一个具有不同权重的分离的衍生网络，并且权重分配器112可以将相应的权重发送回本地设备102的相关子组。
当本地设备102的更新器218从主机服务器104接收聚合的权重时，示例更新器218使用聚合的权重来更新局部深度学习模型214的权重以考虑由多个本地设备102创建的所有局部训练数据集(框314)。根据所示示例，更新器218用聚合的权重替换局部深度学习模型214的权重，使得本地设备102可以访问全局深度学习模型。在其他示例中，更新器218利用以下加权的平均来更新局部深度学习模型214的权重(1)局部深度学习模型214的权重和(2)从示例主机服务器104接收的聚合的权重。
图3的过程然后终止。可替代地，图3的过程可以在框302处重新启动，在接收新的输入数据时可以在框302处重新启动等。
图4是本地设备102的另一实现的框图。图4的本地设备102的实现包括：图4的本地设备102的实现类似于图4的本地设备102的实现，除了图4的本地设备102还包括全局深度学习模型402。全局深度学习模型402是在主机服务器104处训练的深度学习模型。当图4的本地设备102的更新器218从主机服务器104接收聚合的权重，则示例更新器218使用所接收的聚合的权重替换全局深度学习模型402中的权重。
因为图4的全局深度学习模型402使用可用于所有本地设备的所有信息来训练的，所以全局深度学习模型402可以不被定制以解决特定本地设备102可用的局部输入数据的特性。为了解决该问题，训练器216训练和维护被配置为增强全局深度学习模型402的局部深度学习模型214。具体地，局部深度学习模型214可以被配置为捕获特定本地设备102可用的局部输入数据的特性，使得全局深度学习模型402和局部深度学习模型214可以一起捕获训练数据的全局特性和局部变化。
图4中的系统的操作基本上类似于图2中的系统的操作，除了输入数据还被提供给全局深度学习模型402(例如，通过输入采样器204)。图4的图示的示例训练器216确定(1)由参考生成器210确定的标记和(2)局部深度学习模型214的输出与全局深度学习模型402的输出的总和之间的差异。示例训练器216使用该差异来训练局部深度学习模型214。
图5是本地设备102的另一实现的框图。图5的本地设备102的实现类似于图3的本地设备102的实现，除了图5的本地设备102还在训练局部深度学习模型214时应用不同的权重。例如，局部深度学习模型214和全局深度学习模型402的输出可以被赋予与参考生成器210的输出不同的权重以控制模型和参考数据对训练的影响。附加地或替代地，可以将不同的权重应用于局部深度学习模型214的输出和全局深度学习模型402的输出中的每一个。
图6示出了可以由示例操作者终端108呈现的示例用户界面600。示例用户界面600将深度学习模型的可视化向下呈现到个体权重的级别。示例用户界面600可以呈现特定本地设备102和本地设备102的集群以及通过与本地设备102的安全连接在那里操作的主动深度学习模型的可视化。安全连接可以仅允许经由简单的应用编程接口(API)利用图7中列出的示例命令700的权重的双向传输，没有其他信息(例如，输入数据)。安全连接可以实现与本地设备102或本地设备102的集群中的一项的安全认证的通信，并且可以发送或接收本地设备102的状态、要从本地设备102上传的局部深度学习模型214、以及全局深度学习模型。可以使用一个或多个命令关闭安全连接。用户界面600允许本地设备102的状态以及针对授权的操作者的精确地理位置被可视化。
用户界面600和/或操作者终端108允许主机服务器104的人类操作者选择主机服务器104要采用的权重聚合策略。例如，用户界面600可以包括菜单系统(如图6所示)、外部文件、命令行选项和/或任何其他机制。在发现来自本地设备102的权重具有多个分布或通过平均或其他数学手段强制权重的聚合的情况下，操作者还可以指定用于在分布式局部深度学习模型214之间专门化的衍生网络的生成，其中，操作者判断这是一个合理的权衡。
在一些示例中，用户界面600在由本地设备102与主机服务器104共享的情况下呈现标记数据的可视化。例如，如果在由网络产生的前N个最可能的分类的情况下局部深度学习模型214产生低于用户定义的阈值的分类准确度，或者例如如果前N个分类中的差异或标准偏差低于用户定义的阈值，如果操作者已选择加入针对标记数据的共享时，本地设备102可以将标记数据上传到主机服务器104以用于与用户界面600一起可视化。
图8是能够执行图3的指令以实现图1的主机服务器的示例处理器平台800的框图。处理器平台800可以是例如服务器、个人计算机、移动设备(例如，电话、智能电话、诸如iPadTM的平板电脑)、个人数字助理(PDA)、互联网设备、DVD播放器、CD播放器、数字视频记录器、蓝光播放器、游戏控制台、个人视频记录器、机顶盒或任何其他类型的计算设备。
所示示例的处理器平台800包括处理器812。所示示例的处理器812是硬件。例如，处理器812可以由来自任何期望的系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器实现。硬件处理器可以是基于半导体的(例如，基于硅的)设备。在该示例中，处理器812实现示例权重聚合器110、示例权重分配器112和示例全局训练器114。
所示示例的处理器812包括局部存储器813(例如，高速缓存)。所示示例的处理器812经由总线818与包括易失性存储器814和非易失性存储器816的主存储器通信。易失性存储器814可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备实现。非易失性存储器816可以由闪存和/或任何其他期望类型的存储器设备实现。对主存储器814、816的存取由存储器控制器控制。
所示示例的处理器平台800还包括接口电路820。接口电路820可以由任何类型的接口标准实现，例如以太网接口、通用串行总线(USB)和/或快速PCI接口。
在所示示例中，一个或多个输入设备822连接到接口电路820。输入设备822允许用户将数据和/或命令输入到处理器812中。输入设备可以通过例如音频传感器、麦克风、相机(静止或视频)、键盘、按钮、鼠标、触摸屏、跟踪板、轨迹球等点和/或语音识别系统来实现。
一个或多个输出设备824还连接到所示示例的接口电路820。输出设备824可以例如通过显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、打印机和/或扬声器)来实现。因此，所示示例的接口电路820通常包括图形驱动器卡、图形驱动器芯片和/或图形驱动器处理器。
所示示例的接口电路820还包括通信设备，诸如发射器、接收器、收发器、调制解调器和/或网络接口卡，以便于经由网络826(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)实施与外部机器(例如，任何类型的计算设备)的数据交换。
所示示例的处理器平台800还包括用于存储软件和/或数据的一个或多个大容量存储设备828。这种大容量存储设备828的示例包括软盘驱动器、硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、RAID系统和数字通用盘(DVD)驱动器。
图3的编码指令832可以存储在大容量存储设备828中、易失性存储器814中、非易失性存储器816中，和/或可移除的有形计算机可读存储介质(例如CD或DVD)上。
图9是能够执行图3的指令以实现图1、图2、图4和/或图5的本地设备102的示例处理器平台900的框图。处理器平台900可以是例如服务器、个人计算机、移动设备(例如，电话、智能电话、诸如iPad TM的平板电脑)。、个人数字助理(PDA)、互联网设备、DVD播放器、CD播放器、数字视频录像机、蓝光播放器、游戏控制台、个人视频录像机、机顶盒或任何其他类型的计算设备。
所示示例的处理器平台900包括处理器912。所示示例的处理器912是硬件。例如，处理器912可以由来自任何期望的系列或制造商的一个或多个集成电路、逻辑电路、微处理器或控制器实现。硬件处理器可以是基于半导体的(例如，基于硅的)设备。在该示例中，处理器912实现示例数据接收器202、示例输入采样器204、示例采样控制器206、示例参考生成器210、示例输出采样器215、示例训练器216和示例更新器218。
所示示例的处理器912包括局部存储器913(例如，高速缓存)。所示示例的处理器912经由总线918与包括易失性存储器914和非易失性存储器916的主存储器通信。易失性存储器914可以由同步动态随机存取存储器(SDRAM)、动态随机存取存储器(DRAM)、RAMBUS动态随机存取存储器(RDRAM)和/或任何其他类型的随机存取存储器设备实现。非易失性存储器916可以由闪存和/或任何其他期望类型的存储器设备实现。对主存储器914、916的存取由存储器控制器控制。
所示示例的处理器平台900还包括接口电路920。接口电路920可以由任何类型的接口标准实现，例如以太网接口、通用串行总线(USB)和/或快速PCI接口。
在所示示例中，一个或多个输入设备922连接到接口电路920。输入设备922允许用户将数据和/或命令输入到处理器912中。输入设备可以通过例如音频传感器、麦克风、相机(静止或视频)、键盘、按钮、鼠标、触摸屏、跟踪板、轨迹球等点和/或语音识别系统实现。
一个或多个输出设备924还连接到所示示例的接口电路920。输出设备924可以例如通过显示设备(例如，发光二极管(LED)、有机发光二极管(OLED)、液晶显示器、阴极射线管显示器(CRT)、触摸屏、触觉输出设备、打印机和/或扬声器)来实现。因此，所示示例的接口电路920通常包括图形驱动器卡，图形驱动器芯片和/或图形驱动器处理器。
所示示例的接口电路920还包括通信设备，诸如发射器、接收器、收发器、调制解调器和/或网络接口卡，以促进经由网络926(例如，以太网连接、数字用户线(DSL)、电话线、同轴电缆、蜂窝电话系统等)与外部机器(例如，任何类型的计算设备)的数据的交换。
所示示例的处理器平台900还包括用于存储软件和/或数据的一个或多个大容量存储设备928。这种大容量存储设备928的示例包括软盘驱动器，硬盘驱动器、压缩盘驱动器、蓝光盘驱动器、RAID系统和数字通用盘(DVD)驱动器。
图3的编码指令932可以存储在大容量存储设备928中、易失性存储器914中、非易失性存储器916中，和/或可移除的有形计算机可读存储介质(例如CD或DVD)上。
从前述内容应当意识到已经公开了能够通过多个本地设备训练深度学习模型的示例方法、装置和制品。利用多个本地设备便于多个设备之间的分布式处理。另外，在每个本地设备处接收的输入数据可以在相应的本地设备处理，以避免将输入数据传送到中央服务器以进行处理的带宽成本。另外，本地接收的输入数据的隐私可以保持为在本地设备处的处理，而不是传送到中央服务器。
应注意，本申请要求于2016年8月19日提交的美国专利申请序列号62/377,094的优先权，并且其全部内容通过引用结合于此。
本文公开了用于检测电子数据中的异常的示例方法、装置、系统和制品。其他实例及其组合包括以下内容：
示例1是一种用于训练深度学习模型的本地设备，本地设备包括：参考生成器，用于标记在本地设备处接收的输入数据以生成训练数据；训练器，用于训练局部深度学习模型以及将局部深度学习模型发送到服务器，所述服务器用于从多个本地设备接收多个局部深度学习模型，所述服务器用于确定用于全局深度学习模型的一组权重，以及更新器，用于基于从服务器收到的一组权重来更新局部深度学习模型。
示例2包括如权利要求1所述的本地设备，还包括用于直接在本地设备处接收输入数据的数据接收器。
示例3包括如权利要求1所述的本地设备，其中本地设备不将输入数据发送到服务器。
示例4包括如权利要求1所述的本地设备，其中，所述一组权重是基于来自所述多个本地设备的所述多个局部深度学习模型的聚合的权重。
示例5包括如示例1-4中的一项所述的本地设备，还包括采样控制器，其用于对所述输入数据进行采样。
示例6包括如权利要求5所述的本地设备，其中采样控制器用于通过选择输入数据的伪随机部分来对输入数据进行采样。
示例7包括如权利要求5所述的本地设备，其中采样控制器通过对输入数据进行下采样来对输入数据进行采样，以减小输入数据的数据大小。
示例8包括如示例1-4中的一项所述的本地设备，其中，训练器还用于确定由标记确定的标记与局部深度学习模型的输出之间的差异。
示例9包括如示例8所述的本地设备，还包括采样控制器，用于在训练器确定差异之前对局部深度学习模型的输出进行采样。
示例10包括如示例8所述的本地设备，其中训练器还用于基于该差异来调整局部深度学习模型。
示例11是一种包括指令的非暂时性计算机可读介质，所述指令在被执行时使本地设备至少：标记在本地设备处接收的输入数据以生成训练数据，训练局部深度学习模型，将局部深度学习模型发送到服务器，服务器用于从多个本地设备接收多个局部深度学习模型，服务器用于确定用于全局深度学习模型的一组权重，并基于从服务器接收的一组权重来更新局部深度学习模型。
示例12包括如示例11所述的非暂时性计算机可读介质，其中输入数据是直接在本地设备处接收的。
示例13包括如示例11所述的非暂时性计算机可读介质，其中输入数据不被发送到服务器。
示例14包括如示例11所述的非暂时性计算机可读介质，其中一组权重是基于来自多个本地设备的多个局部深度学习模型的聚合的权重。
示例15包括如示例11-14中的一项所述的非暂时性计算机可读介质，其中所述指令在被执行时使得本地设备用于对输入数据进行采样。
示例16包括如示例15所述的非暂时性计算机可读介质，其中所述指令在被执行时使得本地设备用于通过选择输入数据的伪随机部分来对输入数据进行采样。
示例17包括如示例15所述的非暂时性计算机可读介质，其中所述指令在被执行时使得本地设备用于通过对输入数据进行下采样以减小输入数据的数据大小来对输入数据进行采样。
示例18包括如示例11-14中的一项所述的非暂时性计算机可读介质，其中所述指令在被执行时使得本地设备用于确定由标记确定的标记与所述局部深度学习模型的输出之间的差异。
示例19包括如示例18所述的非暂时性计算机可读介质，其中所述指令在被执行时使得本地设备用于在本地设备确定差异之前对局部深度学习模型的输出进行采样。
示例20包括如示例18所述的非暂时性计算机可读介质，其中所述指令在被执行时使得本地设备用于基于该差异来调整局部深度学习模型。
示例21是一种用于训练深度学习模型的方法，该方法包括：通过利用在本地设备处的至少一个处理器执行指令来标记在本地设备处接收的输入数据以生成训练数据，通过利用至少一个处理器执行指令，来训练局部深度学习模型，将局部深度学习模型发送到服务器，所述服务器用于从多个本地设备接收多个局部深度学习模型，所述服务器用于确定用于全局深度学习模型的一组权重，并通过利用在本地设备处的至少一个处理器执行指令，基于从服务器接收的一组权重来更新局部深度学习模型。
示例22包括如示例21所述的方法，其中输入数据是直接在本地设备处接收的。
示例23包括如示例21所述的方法，其中输入数据不被发送到服务器。
示例24包括如示例21所述的方法，其中一组权重是基于来自多个本地设备的多个局部深度学习模型的聚合的权重。
示例25包括如示例21-24中的一项所述的方法，还包括对输入数据进行采样。
示例26包括如示例25所述的方法，其中对输入数据的采样包括选择输入数据的伪随机部分。
示例27包括如示例25所述的方法，其中对输入数据的采样包括对输入数据进行下采样以减小输入数据的数据大小。
示例28包括如示例21-24中的一项所述的方法，还包括确定由标记确定的标记与深度学习模型的输出之间的差异。
示例29包括如示例28所述的方法，还包括在确定差异之前对深度学习模型的输出进行采样。
示例30包括如示例28所述的方法，还包括基于该差异来调整深度学习模型。
示例31是一种服务器，其包括：权重聚合器，用于聚合从多个本地设备接收的多个局部深度学习模型的权重；以及权重分配器，用于将聚合的权重分配给多个本地设备。
示例32包括如示例31所述的服务器，还包括全局深度学习训练器，用于基于聚合的权重来训练全局深度学习模型。
示例33包括如示例31或示例32所述的服务器，其中服务器不接收由多个本地设备使用以生成多个局部深度学习模型的输入数据。
示例34包括如示例31或示例32所述的服务器，其中权重聚合器用于通过对多个局部深度学习模型的权重进行平均来聚合一组权重。
示例35是一种包括指令的非暂时性计算机可读介质，所述指令在被执行时使服务器至少用于：聚合从多个本地设备接收的多个局部深度学习模型的权重，并将聚合的权重发送到多个本地设备。
示例36包括如示例35所述的非暂时性计算机可读介质，其中所述指令在被执行时使得服务器用于基于所述聚合的权重来训练全局深度学习模型。
示例37包括如示例35或示例36所述的非暂时性计算机可读介质，其中服务器不接收由多个本地设备使用以生成多个局部深度学习模型的输入数据。
示例38包括如示例35或示例36所述的非暂时性计算机可读介质，其中所述指令在被执行时使得服务器用于通过对多个局部深度学习模型的权重进行平均来聚合该组权重。
示例40是一种用于训练深度学习模型的方法，该方法包括：通过利用服务器的至少一个处理器执行指令来聚合从多个本地设备接收的多个局部深度学习模型的权重，并且将聚合的权重发送到多个本地设备。
示例41包括如示例40所述的方法，还包括基于聚合的权重来训练全局深度学习模型。
示例42包括如示例40或示例41所述的方法，其中服务器不接收由多个本地设备使用以生成多个局部深度学习模型的输入数据。
示例43包括如示例40或示例41所述的方法，其中聚合包括对多个局部深度学习模型的权重进行平均。
示例44是一种用于训练深度学习模型的系统，该系统包括：本地设备，分别用于：标记在相对应的本地设备处接收的输入数据以生成训练数据，训练局部深度学习模型，通过网络发送局部深度学习模型，以及服务器，其用于：聚合从本地设备接收的局部深度学习模型的权重，并将聚合的权重发送到本地设备，本地设备用于基于从服务器接收的一组权重来更新局部深度学习模型。
示例45包括如示例44所述的系统，其中输入数据是直接在本地设备处接收的。
示例46包括如示例44所述的系统，其中输入数据不被发送到服务器。
示例47包括如示例44-46中的一项所述的系统，其中本地设备进一步用于对输入数据进行采样。
示例48包括如示例47所述的系统，其中本地设备用于通过选择输入数据的伪随机部分来对相应的输入数据进行采样。
示例49包括如示例47所述的系统，其中本地设备用于通过对输入数据进行下采样以减小输入数据的数据大小来对相应输入数据进行采样，。
示例50包括如示例44-46中的一项所述的系统，其中本地设备还用于确定由相应本地设备处的标记确定的标记与相应本地设备处的局部深度学习模型的输出之间的差异。
示例51包括如示例50所述的系统，其中本地设备还用于在本地设备确定差异之前在相应的本地设备处对相应的局部深度学习模型的输出进行采样。
示例52包括如示例50所述的系统，其中本地设备还用于基于该差异来调整局部深度学习模型。
示例53是一种用于训练深度学习模型的装置，该装置包括：用于标记在本地设备处接收的输入数据以生成训练数据的单元，用于训练第一局部深度学习模型的单元，用于将局部深度学习模型发送到服务器的单元，服务器用于从多个本地设备接收多个局部深度学习模型，多个局部深度学习模型包括第一深度学习模型，服务器用于确定用于全局深度学习模型的一组权重，以及用于基于从服务器接收的一组权重来更新第一局部深度学习模型的单元。
示例54包括如示例53所述的装置，还包括用于直接在本地设备处接收输入数据的单元。
示例55包括示例1的本地设备，示例11的非暂时性计算机可读介质，或示例21的示例方法，其中输入数据不通过服务器。
示例56包括示例1的本地设备，示例11的非暂时性计算机可读介质或示例21的示例方法，其中本地设备包括用于收集输入数据的传感器。
示例57包括示例1的本地设备，示例11的非暂时性计算机可读介质，或示例21的示例方法，其中本地设备和/或数据接收器通信地耦合到传感器该传感器收集输入数据并将输入数据发送到本地设备。
尽管本文已经公开了某些示例方法、装置和制品，但是本申请的覆盖范围不限于此。相反，该申请涵盖了完全属于本申请的权利要求范围内的所有方法、装置和制品。

Claims (62)

1.一种用于训练深度学习模型的本地设备，所述本地设备包括：
参考生成器，其用于标记在所述本地设备处接收的输入数据以生成训练数据；
训练器，其用于训练局部深度学习模型并且用于将所述局部深度学习模型发送到服务器，所述服务器用于从多个本地设备接收多个局部深度学习模型，所述服务器用于确定用于全局深度学习模型的一组权重；以及
更新器，其用于基于从所述服务器接收的所述一组权重来更新所述局部深度学习模型。
2.如权利要求1所述的本地设备，还包括数据接收器，其用于直接在所述本地设备处接收所述输入数据。
3.如权利要求2所述的本地设备，其中，所述输入数据不通过所述服务器。
4.如权利要求2所述的本地设备，其中，所述本地设备包括用于收集所述输入数据的传感器。
5.如权利要求2所述的本地设备，其中，所述数据接收器通信地耦合到传感器，所述传感器收集所述输入数据并且将所述输入数据发送到所述本地设备。
6.如权利要求1所述的本地设备，其中，所述本地设备不将所述输入数据发送到所述服务器。
7.如权利要求1所述的本地设备，其中，所述一组权重是基于来自所述多个本地设备的所述多个局部深度学习模型的聚合的权重。
8.如权利要求1-7中的一项所述的本地设备，还包括采样控制器，其用于对所述输入数据进行采样。
9.如权利要求8所述的本地设备，其中，所述采样控制器用于通过选择所述输入数据的伪随机部分来对所述输入数据进行采样。
10.如权利要求8所述的本地设备，其中，所述采样控制器用于通过对所述输入数据进行下采样以减小所述输入数据的数据大小来对所述输入数据进行采样。
11.如权利要求1-7中的一项所述的本地设备，其中，所述训练器还用于确定由所述标记确定的标记与所述局部深度学习模型的输出之间的差异。
12.如权利要求11所述的本地设备，还包括采样控制器，其用于在所述训练器确定所述差异之前对所述局部深度学习模型的输出进行采样。
13.如权利要求11所述的本地设备，其中，所述训练器还用于基于所述差异来调整所述局部深度学习模型。
14.一种包括指令的非暂时性计算机可读介质，所述指令在被执行时，使得本地设备至少用于：
标记在所述本地设备处接收的输入数据以生成训练数据；
训练局部深度学习模型；
将所述局部深度学习模型发送到服务器，所述服务器用于从多个本地设备接收多个局部深度学习模型，所述服务器用于确定用于全局深度学习模型的一组权重；以及
基于从所述服务器接收的所述一组权重来更新所述局部深度学习模型。
15.如权利要求14所述的非暂时性计算机可读介质，其中，所述输入数据是直接在所述本地设备处接收的。
16.如权利要求15所述的非暂时性计算机可读介质，其中，所述输入数据不通过所述服务器。
17.如权利要求15所述的非暂时性计算机可读介质，其中，所述本地设备包括用于收集所述输入数据的传感器。
18.如权利要求15所述的非暂时性计算机可读介质，其中，所述本地设备通信地耦合到传感器，所述传感器收集所述输入数据并且将所述输入数据发送到所述本地设备。
19.如权利要求14所述的非暂时性计算机可读介质，其中，所述输入数据不被发送到所述服务器。
20.如权利要求14所述的非暂时性计算机可读介质，其中，所述一组权重是基于来自所述多个本地设备的所述多个局部深度学习模型的聚合的权重。
21.如权利要求14-20中的一项所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述本地设备用于对所述输入数据进行采样。
22.如权利要求21所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述本地设备用于通过选择所述输入数据的伪随机部分来对所述输入数据进行采样。
23.如权利要求21所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述本地设备用于通过对所述输入数据进行下采样以减小所述输入数据的数据大小来对所述输入数据进行采样。
24.如权利要求14-20中的一项所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述本地设备用于确定由所述标记确定的标记与所述局部深度学习模型的输出之间的差异。
25.如权利要求24所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述本地设备用于在所述本地设备确定所述差异之前对所述局部深度学习模型的输出进行采样。
26.如权利要求24所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述本地设备用于基于所述差异来调整所述局部深度学习模型。
27.一种用于训练深度学习模型的方法，所述方法包括：
通过利用在本地设备处的至少一个处理器执行指令，来标记在所述本地设备处接收的输入数据以生成训练数据；
通过利用所述至少一个处理器执行指令，来训练局部深度学习模型；
将所述局部深度学习模型发送到服务器，所述服务器用于从多个本地设备接收多个局部深度学习模型，所述服务器用于确定用于全局深度学习模型的一组权重；以及
通过利用在所述本地设备处的所述至少一个处理器执行指令，来基于从所述服务器接收的所述一组权重来更新所述局部深度学习模型。
28.如权利要求27所述的方法，其中，所述输入数据是直接在所述本地设备处接收的。
29.如权利要求28所述的方法，其中，所述输入数据不通过所述服务器。
30.如权利要求28所述的方法，其中，所述本地设备包括传感器，其用于收集所述输入数据。
31.如权利要求28所述的方法，其中，所述本地设备通信地耦合到传感器，所述传感器收集所述输入数据并且将所述输入数据发送到所述本地设备。
32.如权利要求27所述的方法，其中，所述输入数据不被发送到所述服务器。
33.如权利要求27所述的方法，其中，所述一组权重是基于来自所述多个本地设备的所述多个局部深度学习模型的聚合的权重。
34.如权利要求27-33中的一项所述的方法，还包括对所述输入数据进行采样。
35.如权利要求34所述的方法，其中，对所述输入数据的所述采样包括选择所述输入数据的伪随机部分。
36.如权利要求34所述的方法，其中，对所述输入数据的所述采样包括对所述输入数据进行下采样以减小所述输入数据的数据大小。
37.如权利要求27-33中的一项所述的方法，还包括确定由所述标记确定的标记与所述深度学习模型的输出之间的差异。
38.如权利要求37所述的方法，还包括在确定所述差异之前对所述深度学习模型的输出进行采样。
39.如权利要求37所述的方法，还包括基于所述差异来调整所述深度学习模型。
40.一种服务器，包括：
权重聚合器，其用于聚合从多个本地设备接收的多个局部深度学习模型的权重；以及
权重分配器，其用于将聚合的权重分配给所述多个本地设备。
41.如权利要求40所述的服务器，还包括全局深度学习训练器，其用于基于所述聚合的权重来训练全局深度学习模型。
42.如权利要求40或权利要求41所述的服务器，其中，所述服务器不接收由所述多个本地设备使用以生成所述多个局部深度学习模型的输入数据。
43.如权利要求40或权利要求41所述的服务器，其中，所述权重聚合器用于通过对所述多个局部深度学习模型的权重进行平均来聚合所述一组权重。
44.一种包括指令的非暂时性计算机可读介质，所述指令在被执行时，使服务器至少用于：
聚合从多个本地设备接收的多个局部深度学习模型的权重；以及
将聚合的权重发送到所述多个本地设备。
45.如权利要求44所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使得所述服务器用于基于所述聚合的权重来训练全局深度学习模型。
46.如权利要求44或权利要求45所述的非暂时性计算机可读介质，其中，所述服务器不接收由所述多个本地设备使用以生成所述多个局部深度学习模型的输入数据。
47.如权利要求44或权利要求45所述的非暂时性计算机可读介质，其中，所述指令在被执行时，使所述服务器用于通过对所述多个局部深度学习模型的权重进行平均来聚合所述一组权重。
48.一种用于训练深度学习模型的方法，所述方法包括：
通过利用服务器的至少一个处理器执行指令，来聚合从多个本地设备接收的多个局部深度学习模型的权重；以及
将聚合的权重发送到所述多个本地设备。
49.如权利要求48所述的方法，还包括基于所述聚合的权重来训练全局深度学习模型。
50.如权利要求48或权利要求49所述的方法，其中，所述服务器不接收由所述多个本地设备使用以生成所述多个局部深度学习模型的输入数据。
51.如权利要求48或权利要求49所述的方法，其中，所述聚合包括对所述多个局部深度学习模型的权重进行平均。
52.一种用于训练深度学习模型的系统，所述系统包括：
本地设备，其分别用于：
标记在相对应的本地设备处接收的输入数据以生成训练数据；
训练局部深度学习模型；
通过网络发送所述局部深度学习模型；以及
服务器，其用于：
聚合从所述本地设备接收的局部深度学习模型的权重；以及
将聚合的权重发送到所述本地设备，所述本地设备用于基于从所述服务器接收的所述一组权重来更新所述局部深度学习模型。
53.如权利要求52所述的系统，其中，所述输入数据是直接在所述本地设备处接收的。
54.如权利要求52所述的系统，其中，所述输入数据不被发送到所述服务器。
55.如权利要求52-54中的一项所述的系统，其中，所述本地设备还用于对所述输入数据进行采样。
56.如权利要求55所述的系统，其中，所述本地设备用于通过选择所述输入数据的伪随机部分来对相应的输入数据进行采样。
57.如权利要求55所述的系统，其中，所述本地设备用于通过对所述输入数据进行下采样以减小所述输入数据的数据大小来对所述相应的输入数据进行采样。
58.如权利要求52-54中的一项所述的系统，其中，所述本地设备还用于确定由在相应的本地设备处的标记确定的标记与在所述相应的本地设备处的所述局部深度学习模型的输出之间的差异。
59.如权利要求58所述的系统，其中，所述本地设备还用于在所述本地设备确定所述差异之前在所述相应的本地设备处对所述相应的局部深度学习模型的输出进行采样。
60.如权利要求58所述的系统，其中，所述本地设备还用于基于所述差异来调整所述局部深度学习模型。
61.一种用于训练深度学习模型的装置，所述装置包括：
用于标记在所述本地设备处接收的输入数据以生成训练数据的单元；
用于训练第一局部深度学习模型的单元；
用于将所述局部深度学习模型发送到服务器的单元，所述服务器用于从多个本地设备接收多个局部深度学习模型，所述多个局部深度学习模型包括所述第一深度学习模型，所述服务器用于确定用于全局深度学习模型的一组权重；以及
用于基于从所述服务器接收的所述一组权重来更新所述第一局部深度学习模型的单元。
62.如权利要求61所述的装置，还包括用于直接在所述本地设备处接收所述输入数据的单元。
CN201780064431.6A 2016-08-19 2017-08-19 用于深度学习模型的分布式训练的系统和方法 Pending CN110268423A (zh)

Priority Applications (1)

Application Number Priority Date Filing Date Title
CN202311499504.8A CN117556888A (zh) 2016-08-19 2017-08-19 用于深度学习模型的分布式训练的系统和方法

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662377094P 2016-08-19 2016-08-19
US62/377,094 2016-08-19
PCT/IB2017/055024 WO2018033890A1 (en) 2016-08-19 2017-08-19 Systems and methods for distributed training of deep learning models

Related Child Applications (1)

Application Number Title Priority Date Filing Date
CN202311499504.8A Division CN117556888A (zh) 2016-08-19 2017-08-19 用于深度学习模型的分布式训练的系统和方法

Publications (1)

Publication Number Publication Date
CN110268423A true CN110268423A (zh) 2019-09-20

Family

ID=59930659

Family Applications (2)

Application Number Title Priority Date Filing Date
CN201780064431.6A Pending CN110268423A (zh) 2016-08-19 2017-08-19 用于深度学习模型的分布式训练的系统和方法
CN202311499504.8A Pending CN117556888A (zh) 2016-08-19 2017-08-19 用于深度学习模型的分布式训练的系统和方法

Family Applications After (1)

Application Number Title Priority Date Filing Date
CN202311499504.8A Pending CN117556888A (zh) 2016-08-19 2017-08-19 用于深度学习模型的分布式训练的系统和方法

Country Status (5)

Country Link
US (3) US11580380B2 (zh)
EP (2) EP4300381A3 (zh)
KR (1) KR102557956B1 (zh)
CN (2) CN110268423A (zh)
WO (1) WO2018033890A1 (zh)

Cited By (6)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN110955915A (zh) * 2019-12-14 2020-04-03 支付宝(杭州)信息技术有限公司 一种隐私数据的处理方法及装置
CN111191796A (zh) * 2019-11-25 2020-05-22 上海联影智能医疗科技有限公司 用于增强分布式医疗网络的系统和方法
CN111460478A (zh) * 2020-03-30 2020-07-28 西安电子科技大学 一种面向协同深度学习模型训练的隐私保护方法
CN112990483A (zh) * 2021-03-17 2021-06-18 北京理工大学 一种基于概率性抽样的大规模边缘机器学习训练方法
CN113536306A (zh) * 2020-04-14 2021-10-22 慧与发展有限责任合伙企业 处理健康信息以确定是否发生异常
CN114787824A (zh) * 2019-12-13 2022-07-22 美国高通技术公司 联合混合模型

Families Citing this family (45)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8977255B2 (en) 2007-04-03 2015-03-10 Apple Inc. Method and system for operating a multi-function portable electronic device using voice-activation
EP3809407A1 (en) 2013-02-07 2021-04-21 Apple Inc. Voice trigger for a digital assistant
US10170123B2 (en) 2014-05-30 2019-01-01 Apple Inc. Intelligent assistant for home automation
US9715875B2 (en) 2014-05-30 2017-07-25 Apple Inc. Reducing the need for manual start/end-pointing and trigger phrases
US9338493B2 (en) 2014-06-30 2016-05-10 Apple Inc. Intelligent automated assistant for TV user interactions
US10586535B2 (en) 2016-06-10 2020-03-10 Apple Inc. Intelligent digital assistant in a multi-tasking environment
US12197817B2 (en) 2016-06-11 2025-01-14 Apple Inc. Intelligent device arbitration and control
WO2018033890A1 (en) * 2016-08-19 2018-02-22 Linear Algebra Technologies Limited Systems and methods for distributed training of deep learning models
JP6720402B2 (ja) * 2017-03-21 2020-07-08 株式会社Ｐｒｅｆｅｒｒｅｄ Ｎｅｔｗｏｒｋｓ サーバ装置、学習済モデル提供プログラム、学習済モデル提供方法及び学習済モデル提供システム
DK179496B1 (en) 2017-05-12 2019-01-15 Apple Inc. USER-SPECIFIC Acoustic Models
US20180336275A1 (en) 2017-05-16 2018-11-22 Apple Inc. Intelligent automated assistant for media exploration
US11042155B2 (en) 2017-06-06 2021-06-22 Plusai Limited Method and system for closed loop perception in autonomous driving vehicles
US11488054B2 (en) * 2017-12-06 2022-11-01 Google Llc Systems and methods for distributed on-device learning with data-correlated availability
US11663476B2 (en) * 2017-12-15 2023-05-30 Electronics And Telecommunications Research Institute Method and device for providing compression and transmission of training parameters in distributed processing environment
US10574890B2 (en) 2018-01-12 2020-02-25 Movidius Ltd. Methods and apparatus to operate a mobile camera for low-power usage
US20190279082A1 (en) * 2018-03-07 2019-09-12 Movidius Ltd. Methods and apparatus to determine weights for use with convolutional neural networks
US10818288B2 (en) 2018-03-26 2020-10-27 Apple Inc. Natural assistant interaction
DK180639B1 (en) 2018-06-01 2021-11-04 Apple Inc DISABILITY OF ATTENTION-ATTENTIVE VIRTUAL ASSISTANT
US11430312B2 (en) 2018-07-05 2022-08-30 Movidius Limited Video surveillance with neural networks
US10915995B2 (en) 2018-09-24 2021-02-09 Movidius Ltd. Methods and apparatus to generate masked images based on selective privacy and/or location tracking
JP7075056B2 (ja) * 2018-12-27 2022-05-25 オムロン株式会社 画像判定装置、画像判定方法及び画像判定プログラム
EP3691186A1 (en) * 2019-01-31 2020-08-05 Nokia Solutions and Networks Oy Method and apparatus for predicting the bitrate of a repaired communication channel
US11348573B2 (en) 2019-03-18 2022-05-31 Apple Inc. Multimodality in digital assistant systems
CN113678064B (zh) 2019-04-09 2023-12-08 Asml荷兰有限公司 用于在设施位置之间调整预测模型的系统和方法
CN111832591B (zh) * 2019-04-23 2024-06-04 创新先进技术有限公司 机器学习模型训练方法及装置
US11307752B2 (en) 2019-05-06 2022-04-19 Apple Inc. User configurable task triggers
DK201970509A1 (en) 2019-05-06 2021-01-15 Apple Inc Spoken notifications
US11887585B2 (en) * 2019-05-31 2024-01-30 Apple Inc. Global re-ranker
JP7393882B2 (ja) * 2019-06-18 2023-12-07 キヤノンメディカルシステムズ株式会社 医用情報処理装置及び医用情報処理システム
JP7372076B2 (ja) * 2019-08-07 2023-10-31 ファナック株式会社 画像処理システム
CN110443375B (zh) * 2019-08-16 2021-06-11 深圳前海微众银行股份有限公司 一种联邦学习方法及装置
US12045716B2 (en) * 2019-09-19 2024-07-23 Lucinity ehf Federated learning system and method for detecting financial crime behavior across participating entities
CN110782340B (zh) * 2019-10-25 2021-09-07 深圳前海微众银行股份有限公司 决策树模型的交互式建模方法、装置、设备及存储介质
US11500929B2 (en) * 2019-11-07 2022-11-15 International Business Machines Corporation Hierarchical federated learning using access permissions
US11941519B2 (en) * 2019-12-02 2024-03-26 Waymo Llc Machine learning training platform
KR102421919B1 (ko) * 2019-12-27 2022-07-18 가부시키가이샤 스크린 홀딩스 기판 처리 장치, 기판 처리 방법, 기판 처리 시스템, 및 학습용 데이터의 생성 방법
WO2021136937A1 (en) 2020-01-03 2021-07-08 Tractable Ltd Method of determining damage to parts of a vehicle
US20210241183A1 (en) * 2020-01-31 2021-08-05 Hewlett Packard Enterprise Development Lp Adaptively synchronizing learning of multiple learning models
US11871244B2 (en) 2020-02-27 2024-01-09 CACI, Inc.—Federal Primary signal detection using distributed machine learning in multi-area environment
US20210334646A1 (en) * 2020-04-28 2021-10-28 International Business Machines Corporation Robustness-aware quantization for neural networks against weight perturbations
US11438683B2 (en) 2020-07-21 2022-09-06 Apple Inc. User identification using headphones
US11651293B2 (en) * 2020-07-22 2023-05-16 International Business Machines Corporation Hierarchical decentralized distributed deep learning training
KR102577937B1 (ko) * 2021-06-08 2023-09-14 한국과학기술연구원 이벤트 교착 상태 없는 멀티 코어 뉴로모픽 시스템을 위한 이벤트 중재기 및 이벤트 중재 방법
US20230274641A1 (en) * 2022-02-25 2023-08-31 Toyota Motor Engineering & Manufacturing North America, Inc. Hierarchical transfer learning system
KR102714528B1 (ko) * 2023-01-19 2024-10-08 가천대학교 산학협력단 원격의료를 위한 개인 맞춤형 관리시스템 및 그 제어방법

Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279741A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Scalable online hierarchical meta-learning
WO2015126858A1 (en) * 2014-02-21 2015-08-27 Microsoft Technology Licensing, Llc Personalized machine learning system
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
CN104992430A (zh) * 2015-04-14 2015-10-21 杭州奥视图像技术有限公司 基于卷积神经网络的全自动的三维肝脏分割方法
US20150324690A1 (en) * 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System
CN105160397A (zh) * 2014-06-06 2015-12-16 谷歌公司 训练精炼的机器学习模型
US20150363634A1 (en) * 2014-06-17 2015-12-17 Beijing Kuangshi Technology Co.,Ltd. Face Hallucination Using Convolutional Neural Networks
GB201520932D0 (en) * 2015-11-27 2016-01-13 Univ East Anglia Method and system for generating an output image from a plurality of corresponding input image channels
CN105378762A (zh) * 2014-04-08 2016-03-02 微软技术许可有限责任公司 使用交替方向乘子法的深度学习
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
CN105488515A (zh) * 2014-09-17 2016-04-13 富士通株式会社 训练卷积神经网路分类器的方法和图像处理装置
CN105531725A (zh) * 2013-06-28 2016-04-27 D-波系统公司 用于对数据进行量子处理的系统和方法
CN105630882A (zh) * 2015-12-18 2016-06-01 哈尔滨工业大学深圳研究生院 基于遥感数据深度学习的近海污染物识别与跟踪方法
CN105678332A (zh) * 2016-01-08 2016-06-15 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统

Family Cites Families (24)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20070089174A1 (en) * 2005-10-14 2007-04-19 David M. Bader Content management system and method for DRM enforcement in a client-server system
US8521664B1 (en) * 2010-05-14 2013-08-27 Google Inc. Predictive analytical model matching
JP5673473B2 (ja) 2011-09-27 2015-02-18 株式会社日立製作所 分散計算機システム及び分散計算機システムの制御方法
US9390370B2 (en) 2012-08-28 2016-07-12 International Business Machines Corporation Training deep neural network acoustic models using distributed hessian-free optimization
US9509763B2 (en) 2013-05-24 2016-11-29 Qualcomm Incorporated Delayed actions for a decentralized system of learning devices
US9679491B2 (en) 2013-05-24 2017-06-13 Qualcomm Incorporated Signaling device for teaching learning devices
US20150324686A1 (en) 2014-05-12 2015-11-12 Qualcomm Incorporated Distributed model learning
US10824958B2 (en) * 2014-08-26 2020-11-03 Google Llc Localized learning from a global model
US10417525B2 (en) * 2014-09-22 2019-09-17 Samsung Electronics Co., Ltd. Object recognition with reduced neural network weight precision
US9836641B2 (en) * 2014-12-17 2017-12-05 Google Inc. Generating numeric embeddings of images
US11663409B2 (en) * 2015-01-23 2023-05-30 Conversica, Inc. Systems and methods for training machine learning models using active learning
US20190180196A1 (en) * 2015-01-23 2019-06-13 Conversica, Inc. Systems and methods for generating and updating machine hybrid deep learning models
US10540588B2 (en) 2015-06-29 2020-01-21 Microsoft Technology Licensing, Llc Deep neural network processing on hardware accelerators with stacked memory
US10726340B2 (en) * 2015-09-29 2020-07-28 Cognitive Scale, Inc. Cognitive learning system having a knowledge model
US10402469B2 (en) * 2015-10-16 2019-09-03 Google Llc Systems and methods of distributed optimization
US9639777B1 (en) 2015-12-17 2017-05-02 Linear Algebra Technologies Limited Systems and methods for providing an image classifier
US20170262933A1 (en) * 2016-03-10 2017-09-14 Khai Gan Chuah Offline to online management system
US11087236B2 (en) * 2016-07-29 2021-08-10 Splunk Inc. Transmitting machine learning models to edge devices for edge analytics
US10536351B2 (en) * 2016-07-29 2020-01-14 Splunk Inc. Analytics for edge devices
WO2018033890A1 (en) * 2016-08-19 2018-02-22 Linear Algebra Technologies Limited Systems and methods for distributed training of deep learning models
CN108289330B (zh) * 2017-01-09 2022-12-02 中兴通讯股份有限公司 上行参考信号信息的指示方法及装置
US10146768B2 (en) * 2017-01-25 2018-12-04 Google Llc Automatic suggested responses to images received in messages using language model
US10810317B2 (en) * 2017-02-13 2020-10-20 Protegrity Corporation Sensitive data classification
US11170309B1 (en) * 2017-11-22 2021-11-09 Amazon Technologies, Inc. System for routing machine learning model inferences

Patent Citations (14)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20140279741A1 (en) * 2013-03-15 2014-09-18 International Business Machines Corporation Scalable online hierarchical meta-learning
CN105531725A (zh) * 2013-06-28 2016-04-27 D-波系统公司 用于对数据进行量子处理的系统和方法
WO2015126858A1 (en) * 2014-02-21 2015-08-27 Microsoft Technology Licensing, Llc Personalized machine learning system
US20150254555A1 (en) * 2014-03-04 2015-09-10 SignalSense, Inc. Classifying data with deep learning neural records incrementally refined through expert input
CN105378762A (zh) * 2014-04-08 2016-03-02 微软技术许可有限责任公司 使用交替方向乘子法的深度学习
US20150324690A1 (en) * 2014-05-08 2015-11-12 Microsoft Corporation Deep Learning Training System
CN105160397A (zh) * 2014-06-06 2015-12-16 谷歌公司 训练精炼的机器学习模型
US20150363634A1 (en) * 2014-06-17 2015-12-17 Beijing Kuangshi Technology Co.,Ltd. Face Hallucination Using Convolutional Neural Networks
CN105488515A (zh) * 2014-09-17 2016-04-13 富士通株式会社 训练卷积神经网路分类器的方法和图像处理装置
CN104992430A (zh) * 2015-04-14 2015-10-21 杭州奥视图像技术有限公司 基于卷积神经网络的全自动的三维肝脏分割方法
CN105447866A (zh) * 2015-11-22 2016-03-30 南方医科大学 基于卷积神经网络的x线胸片骨抑制处理方法
GB201520932D0 (en) * 2015-11-27 2016-01-13 Univ East Anglia Method and system for generating an output image from a plurality of corresponding input image channels
CN105630882A (zh) * 2015-12-18 2016-06-01 哈尔滨工业大学深圳研究生院 基于遥感数据深度学习的近海污染物识别与跟踪方法
CN105678332A (zh) * 2016-01-08 2016-06-15 昆明理工大学 火焰图像cnn识别建模的转炉炼钢终点判断方法及系统

Non-Patent Citations (5)

* Cited by examiner, † Cited by third party
Title
EMILIANO MILUZZO ET AL.: "Vison:mClouds-computing on clouds of mobile devices", 《MCS "12》 *
EMILIANO MILUZZO ET AL.: "Vison:mClouds-computing on clouds of mobile devices", 《MCS "12》, 25 June 2012 (2012-06-25), pages 9 - 13 *
OLAF RONNEBERGER ET AL.: "U-Net: Convolutional Networks for Biomedical Image Segmentation", 《ARXIV.ORG》, pages 1 - 8 *
陈拓等: "基于全卷积神经网络的智能变电站开关状态识别方法", 《第35届中国控制会议论文集》, pages 1458 - 1461 *
飞跃重洋的思念: "全卷积网络（FCN）与图像分割", 《CSDN》, pages 1 - 4 *

Cited By (8)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN111191796A (zh) * 2019-11-25 2020-05-22 上海联影智能医疗科技有限公司 用于增强分布式医疗网络的系统和方法
CN111191796B (zh) * 2019-11-25 2024-03-22 上海联影智能医疗科技有限公司 用于增强分布式医疗网络的系统和方法
CN114787824A (zh) * 2019-12-13 2022-07-22 美国高通技术公司 联合混合模型
CN110955915A (zh) * 2019-12-14 2020-04-03 支付宝(杭州)信息技术有限公司 一种隐私数据的处理方法及装置
CN111460478A (zh) * 2020-03-30 2020-07-28 西安电子科技大学 一种面向协同深度学习模型训练的隐私保护方法
CN113536306A (zh) * 2020-04-14 2021-10-22 慧与发展有限责任合伙企业 处理健康信息以确定是否发生异常
CN113536306B (zh) * 2020-04-14 2025-01-17 慧与发展有限责任合伙企业 用于处理健康信息的计算设备、方法和存储介质
CN112990483A (zh) * 2021-03-17 2021-06-18 北京理工大学 一种基于概率性抽样的大规模边缘机器学习训练方法

Also Published As

Publication number Publication date
EP3500985A1 (en) 2019-06-26
US20240013056A1 (en) 2024-01-11
KR102557956B1 (ko) 2023-07-21
US11769059B2 (en) 2023-09-26
US11580380B2 (en) 2023-02-14
KR20190110519A (ko) 2019-09-30
US20210287080A1 (en) 2021-09-16
US20230127542A1 (en) 2023-04-27
EP4300381A2 (en) 2024-01-03
WO2018033890A1 (en) 2018-02-22
CN117556888A (zh) 2024-02-13
EP4300381A3 (en) 2024-03-20
EP3500985B1 (en) 2024-11-27
US12190247B2 (en) 2025-01-07

Similar Documents

Publication Publication Date Title
CN110268423A (zh) 用于深度学习模型的分布式训练的系统和方法
CN106290378B (zh) 缺陷分类方法和缺陷检查系统
CN105843703B (zh) 创建工作流以解决至少一个系统问题的方法和系统
US11501153B2 (en) Methods and apparatus for training a neural network
CN110009614A (zh) 用于输出信息的方法和装置
US11508120B2 (en) Methods and apparatus to generate a three-dimensional (3D) model for 3D scene reconstruction
US20180336480A1 (en) Adaptive adjustment using sensor data and distributed data
CN108229673A (zh) 卷积神经网络的处理方法、装置和电子设备
US20230237787A1 (en) Techniques for dynamic time-based custom model generation
CN112215362A (zh) 用于转换数据和优化数据转换的双重机器学习管道
US20200258410A1 (en) Systems and methods for assessment item credit assignment based on predictive modelling
CN114662645A (zh) 促进持续学习的方法和装置
WO2021179565A1 (zh) 用于获取信息的方法及装置
EP4176397A1 (en) Systems and methods for providing learning paths
CN109154938A (zh) 使用离散非踪迹定位数据将数字图中的实体分类
WO2019127233A1 (en) Methods and apparatus to simulate sensor data
CN109086790A (zh) 一种分类模型的迭代方法、装置及电子设备
CN115063601A (zh) 基于图像和音频双模态鸟类识别方法、装置、设备及介质
CN109840072A (zh) 信息处理方法和装置
US20150310375A1 (en) Individual productivity measurement
US11461586B2 (en) Learned interaction with a virtual scenario
US20200251007A1 (en) Systems and methods for item response modelling of digital assessments
CN108885609A (zh) 基于预先计算的模拟结果的模拟
WO2019235370A1 (ja) 学習装置、予測装置、方法、及びプログラム
WO2021061798A1 (en) Methods and apparatus to train a machine learning model

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
RJ01 Rejection of invention patent application after publication

Application publication date: 20190920