CN111226232B - 混合生成器模型 - Google Patents

混合生成器模型 Download PDF

Info

Publication number
CN111226232B
CN111226232B CN201880067064.XA CN201880067064A CN111226232B CN 111226232 B CN111226232 B CN 111226232B CN 201880067064 A CN201880067064 A CN 201880067064A CN 111226232 B CN111226232 B CN 111226232B
Authority
CN
China
Prior art keywords
generator
detector
training
cluster
machine learning
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201880067064.XA
Other languages
English (en)
Other versions
CN111226232A (zh
Inventor
J·K·贝克尔
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
D5AI LLC
Original Assignee
D5AI LLC
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by D5AI LLC filed Critical D5AI LLC
Publication of CN111226232A publication Critical patent/CN111226232A/zh
Application granted granted Critical
Publication of CN111226232B publication Critical patent/CN111226232B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/088—Non-supervised learning, e.g. competitive learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/045—Combinations of networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/048—Activation functions
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/082—Learning methods modifying the architecture, e.g. adding, deleting or silencing nodes or connections
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/08—Learning methods
    • G06N3/084—Backpropagation, e.g. using gradient descent
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F12/00—Accessing, addressing or allocating within memory systems or architectures
    • G06F12/02—Addressing or allocation; Relocation
    • G06F12/08—Addressing or allocation; Relocation in hierarchically structured memory systems, e.g. virtual memory systems
    • G06F12/0802—Addressing of a memory level in which the access to the desired data or data block requires associative addressing means, e.g. caches
    • G06F12/0806—Multiuser, multiprocessor or multiprocessing cache systems
    • G06F12/0815—Cache consistency protocols
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F17/00—Digital computing or data processing equipment or methods, specially adapted for specific functions
    • G06F17/10—Complex mathematical operations
    • G06F17/18—Complex mathematical operations for evaluating statistical data, e.g. average values, frequency distributions, probability functions, regression analysis

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Software Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Probability & Statistics with Applications (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Neurology (AREA)
  • Medical Informatics (AREA)
  • Pure & Applied Mathematics (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Computational Mathematics (AREA)
  • Mathematical Analysis (AREA)
  • Mathematical Optimization (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Evolutionary Biology (AREA)
  • Algebra (AREA)
  • Image Analysis (AREA)
  • Machine Translation (AREA)
  • Complex Calculations (AREA)
  • Feedback Control In General (AREA)
  • Debugging And Monitoring (AREA)
  • Hardware Redundancy (AREA)

Abstract

计算机系统和计算机实现的方法训练和/或(训练后)操作包括多个生成器‑检测器对的机器学习系统。机器学习计算机系统包括一组处理器核和存储软件的计算机存储器。当由该组处理器核执行时，软件使得该组处理器核实现多个生成器‑检测器对，其中：(i)每个生成器‑检测器对包括机器学习数据生成器和机器学习数据检测器；以及(ii)每个生成器‑检测器对分别用于相应的数据示例集群，使得对于每个生成器‑检测器对，生成器用于在相应的集群中生成数据示例，而检测器用于检测数据示例是否在相应的集群中。

Description

混合生成器模型
优先权要求
本申请要求2017年9月28日提交的美国临时专利申请序列号62/564,754的优先权，其标题为《协作生成器的积极发展》，其全部内容通过引用并入本文。
背景技术
机器学习是由计算机实现的学习模型的过程，通过基于样品数据输入建立模型，可以对数据进行预测。机器学习系统类型众多，诸如人工神经网络(ANN)、决策树、支持向量机(SVM)以及其他系统。这些系统在利用新数据做出有意义的预测之前首先需要根据一些样品输入受到训练。例如，ANN通常由多层神经元组成。每个神经元与许多其他神经元相连接，并且链路可以增强或抑制它们对相连接的神经元的激活状态的影响。每个单独的神经元单元可以具有将其所有输入的值合并在一起的求和函数。可以存在对每个连接和对神经元自身的阈值函数或者极限函数，使得信号在传播到其他神经元之前必须超越极限。用于输入到节点的每个相应输入的权重可以通过误差代价函数的偏导数的反向传播受到训练，同时估计值在训练数据样品上累积。大型复杂ANN可以在节点之间具有百万计的连接，并且需要学习针对每个连接的权重。
训练复杂的机器学习系统通常使用大量的标记数据和无标记数据。设计成执行分类任务的机器学习系统的训练数据包括每个可能类别的代表性样品数据。一个类别内的数据可以是异构的，因为单个类别可以包括一个或多个数据集群，其中每个集群在一个或多个方面是独特的。生成的代表类别和集群的数据对于在分类任务中训练机器学习系统是有用的。
发明内容
本发明包括机器学习系统和训练该机器学习系统的方法，该机器学习系统包括一个或多个生成器-检测器对，以将数据类别建模为集群混合。该系统能够作为生成器、作为集群分类器或作为类别分类器运行。
附图说明
本文结合以下附图以示例的方式描述了本发明的各种实施例，其中：
图1示出了根据本公开的一个方面的混合生成器模型的框图。
图2示出了根据本公开的一个方面的用于混合生成器模型的系统的框图。
图3示出了根据本公开的一个方面的用于混合生成器模型的过程的流程图，诸如图2中示出的系统。
图4是可以用于实现各种实施例的计算机系统的图。
图5是示出可用于本发明的各种实施例的各个方面的类型的深层神经网络的图。
具体实施方式
图1示出了根据本发明各种实施例的系统90。所示系统90包括多个生成器-检测器对。在图1所示的示例实施例中，有三个这样的生成器-检测器对92A-C，但不同的实施例可以包含更少或更多的生成器-检测器对。图2示出了根据本发明各种实施例的一个这样的生成器-检测器对92。图1和图2中的各个框表示机器学习系统，诸如图1中的生成器101-103(即生成器1至3)和检测器111-113(即检测器1至3)，以及图2中的生成器212和检测器202。图3所示的这些机器学习系统和过程可以在计算机系统上实现，诸如图4所示的计算机系统400。
这些机器学习系统可以是各种类型的机器学习系统中的任何一种，每种机器学习系统都可以通过特定于该类型机器学习系统的训练技术来训练。例如，如果机器学习系统是神经网络，诸如图5所示的示例神经网络，它可以通过随机梯度的迭代过程来训练，其中对每个小批次训练数据的学习参数进行更新。计算机系统400可以通过网络中每个节点的激活的前馈计算来估计单个数据项的目标函数相对于学习参数的梯度，随后进行目标相对于学习参数的偏导数的反向传播，即：所述学习参数与弧和节点偏差相关联的连接权重。计算机系统400可以累积单个数据项的估计梯度，以估计目标的梯度，从而更新每个小批次的学习参数。随机梯度下降和前馈激活计算以及偏导数的反向传播对于训练神经网络领域的技术人员是众所周知的。在反例的训练中，诸如从图2的框208开始，计算机系统400相对于输出激活改变目标的偏导数的符号，然后通过标准反向传播过程反向传播这些反向偏导数。
如果具有某些能力，其他类型的机器学习系统可以用其他训练方法来训练。两个这样的能力是：(1)每个机器学习系统的训练算法必须有某个从反例学习的机制；以及(2)每个检测器必须能够计算其目标相对于其输入的偏导数的估计，以便所述偏导数可以反向传播到相关联的生成器。能力(2)不要求通过反向传播来训练检测器。例如，能力(2)可以通过目标相对于每个输入变量的偏导数的数值估计来实现。
图1和2中的其他框(诸如图1中的框104和105以及图2中的框207-211)表示各种类型的数据。这些数据可以存储在计算机系统的板上和板外存储器中，诸如图4中计算机系统400的板上和板外存储器。
图1是作为集群混合的类别的生成模型的说明性实施例的框图，每个集群由各自的生成器-检测器对92A-C表示。图2示出了一个这样的生成器-检测器对92，而图3是训练生成器-检测器对92的过程的流程图。在示出的实施例中，每一类别的输入数据被建模为集群混合，并且对于每个集群有一个生成器-检测器对。这样，系统90被称为混合生成器模型(MGM)。在图1中，只有三个集群，都属于同一类别；因此，仅示出了三个生成器-检测器对92A-C，但是应当理解，每个类别和任何数量的类别都可以有任何数量的集群/生成器-检测器对。
如图1中所示，每个生成器-检测器对92A-C可以包括一个生成器和一个检测器，并且对于该类别中的每个集群，优选地有一个生成器-检测器对92A-C。参考图1，假设有三个集群，因此有三个生成器-检测器对，即：生成器1(框101)和检测器1(框111)形成集群1的生成器-检测器对92A；生成器2(框102)和检测器2(框112)形成集群2的生成器-检测器对92B；并且生成器3(框103)和检测器3(框113)形成集群3的生成器-检测器对92C。如结合图2和图3所述，生成器-检测器对由计算机系统400训练。训练后，图1所示的系统90可以作为生成器、作为集群分类器或作为类别分类器由计算机系统400运行。计算机系统400还可以继续以独立模式训练检测器111-113，而不更新集群定义。
在计算机系统400的控制下，传输交换机110(以软件实现)根据系统90执行的操作在图1中的元件之间建立不同的连接。在系统训练期间，如图2所示，每个生成器(例如，图2中的生成器212或图1中的生成器101、102、103(分别地))连接到其相应的检测器(例如，图2中的检测器202或图1中的检测器111、112、113(分别地))。
为了生成表示一个类别的数据，在节点100中，计算机系统400选择该类别中的一个集群。每个集群可以基于其先验概率来选择。通过使用所选择集群的生成器，比如集群2的生成器2等等，计算机系统400为所选择的集群(例如集群2)生成数据示例，该数据示例被发送到传输交换机110。在交换机110处，当系统90作为生成器运行时，计算机系统400将生成的数据示例发送到框104供外部使用。
当系统90作为分类器运行时，在交换机110处，计算机系统400可以从框105接收真实或生成的数据。真实或生成的数据105在计算机系统400的板上和/或板外中存储。如果数据105是生成的数据，它可以由数据生成器(未示出)生成。交换机110将来自框105的数据发送到检测器111-113中的每个，每个集群对应一个检测器。如图2中，在说明性实施例中，检测器111-113中的每个检测器具有三个可能的输出，分别代表“检测”、“拒绝”和“中性”，并分别由图1中标记为D、R和N的节点代表。
计算机系统400优选地从每个集群检测器111-113将“检测”激活馈送到两个节点。一个目的地是“Max节点”121。Max节点121的激活是特定类别中所有集群的“检测”输出的最大激活。例如，如图1所显示，最大节点121的激活值等于检测器1至3的检测输出的单个最大激活值。节点121的激活可以用作类别分类任务中该类别的分数。节点121优选地在分类任务的训练期间接收反向传播，并且反过来计算机系统400将误差代价函数导数反向传播到具有最大值的检测器111-113。
在集群分类模式中，第二目的地是节点集131中的专用节点。对于每个检测器111-113，在节点集131中都有一个节点，并因此对于特定类别中的每个集群有一个节点。计算机系统400将每个集群检测器111-113的“检测”激活发送到节点集131中其各自的专用节点。在说明性实施例中，计算机系统400对节点集131执行softmax操作；也就是说，它将其节点的激活归一化为1。在训练期间，计算机系统400训练节点集131用于集群分类。对于每个数据示例，节点集131的目标对于正确的集群是值一，对于所有其他节点是值零。在节点集131中，计算机系统400将这个目标分别反向传播到集群检测器111、112和113。
这样，在计算机系统400的控制下，传输交换机110有三种操作模式：(1)训练、(2)生成和(3)分类。此外，有两种分类子模式：(1)类别分类和(2)集群分类，都由计算机系统400控制，分别选择节点集131或节点121作为系统的输出。
这种连续的训练提升了检测器111-113按照定义对集群进行分类的能力，并继续训练类别分类。在说明性实施例中，还通过返回到图2中所示的成对生成器检测器训练的过程来更新集群定义。
图2和图3代表用于将生成器与检测器配对的系统和方法的说明性实施例，其在本发明的各种实施例中都有用。在图1的说明性实施例中，所说明的方法用于构建混合生成器模型(MGM)。图2是说明性实施例的框图，而图3是训练图2中显示的生成器-检测器对的说明性示例的流程图。在图2的说明性实施例中，生成器-检测器对包括生成器212和检测器202。检测器202和生成器212由计算机系统400训练，以检测和生成与单个集群相关的数据。该集群可能已经通过对无标记数据的无监督学习得到训练，或者该集群可能是单个类别的标记数据中的一个集群。
图2中的框201代表检测器202的输入。检测器202具有三种可能的输出。输出203代表检测事件。该输出的激活代表检测。例如，如果输出203是唯一的输出节点并且具有sigmoid激活函数，则激活值的范围可以是0到1，在激活大于某个阈值的情况下，比如0.5，代表检测，而激活值小于该阈值，代表没有检测。传统的检测器只需要一个输出，相当于输出203。然而，这个说明性实施例代表关于非检测(例如，拒绝或中性)的附加信息，并在其训练过程中使用该信息。输出204代表检测到反例，并且输出205代表中性非检测。如结合图2的框207、208、209和210所解释的，检测、拒绝或中性这三个选项中的每一个都由来自三种类型事件的示例的监督训练来训练。在一些实施例中，三个输出节点中的每一个被单独训练；例如，每一个都可以通过sigmoid激活函数训练。在一些实施例中，三个节点组合在一起，在其激活时应用softmax计算。利用输出节点的sigmoid激活或softmax激活的训练对于训练神经网络领域的技术人员来说是众所周知的。在任一情况下，每个输出节点的激活都在[0,1]的范围内。使用softmax激活，三个节点的激活被约束为总和为1.0。根据三个节点中哪一个具有最大激活，我们就说该输出指定了检测、拒绝或中性输出。softmax归一化的使用不改变哪个输出节点具有最大分数的身份。在sigmoid输出情况下，最大激活可以是[0,1]范围内的任何数字。在softmax归一化情况，最大分数必须至少为1/3。此外，训练中可以存在差异，使得一种表示在一些实施例中可以是优选的，而另一种表示在其他实施例中可以是优选的。
框201从几个来源中的任何一个接收其输入。它可以从框209接收集群内数据。当存在标记数据时，它可以从框210接收来自与集群相同的类别但不在集群中的数据。它还可以从框207接收一般背景数据，即，不是来自该类别的数据。当来自框207的数据被检测器202误分类为检测时，计算机系统400将来自框207的误分类数据示例复制到框208，框208存储被误分类为反例的背景示例。作为检测器202的目标输出为204“拒绝”的示例，复制到框208的数据可以用于检测器202的连续训练。来自框209的集群内输入数据的目标输出是“检测”。来自框210的类别内输入数据的目标输出是“中性”，但是在各种实施例中，将来自框210的输入数据分类为检测不会导致该示例被计算机系统400作为反例复制到框208。
检测器202对来自框207的背景数据的目标输出也是“中性”。如上所述，将该数据误分类为检测导致误分类数据示例被计算机系统400作为反例复制到框208。然而，如果背景数据被分类为“拒绝”，则该分类被接受。在一些实施例中，当背景数据被分类为“拒绝”时，没有从“中性”的标称目标进行反向传播。
框201也可以从生成器212接收输入。在一些实施例的训练的一些阶段中，在检测器202中，计算机系统400还反向传播偏导数，作为生成器212训练的一部分。生成器212可以是任何形式的生成器。在一些实施例中，它是随机自动编码器，例如变分自动编码器(VAE)，从框211接收其输入。使用VAE作为生成器对于神经网络领域的技术人员来说是众所周知的。尽管图2中所示的说明性实施例使用随机自动编码器作为生成器212，带有编码器和解码器，但是应当理解，可以使用一些其他形式的生成器。当生成器212是自动编码器或另一种形式的可以根据指定的训练数据进行训练的生成器时，优选地，它最初仅根据来自集群的数据进行训练。在一些实施例中，当集群中的数据太少时，生成器212也可以根据来自该类别的其他数据进行训练。作为生成器，一旦接受训练，它可以被限制为只使用对应于来自集群的数据的潜在变量。如将在图3中看到的，在一些实施例中，生成器212的后续训练可以包含正例和反例。
尽管图2仅示出了一个检测器202和一个生成器212，但是在一些实施例中，多个生成器可以与单个检测器202配对；或者多个检测器202可以与单个生成器212配对。在有多个生成器的实施例中，生成器可以都是相同类型或不止一种类型。在成对训练中，如果生成器212是自动编码器，则其具有多个目标；作为目标211的输入数据；来自检测器202的反向传播；以及可能的附加目标214。
图3描绘了配对训练过程的说明性实施例的流程图。在框301中，计算机系统400选择一个类别。在框302中，计算机系统400训练该类别内的集群。在框302中可以使用本领域中已知的任何聚类算法。作为说明性示例，对于高斯混合模型，聚类可以作为K均值聚类或期望最大化聚类来完成。在框302中训练的集群可以稍后在框311中由计算机系统400修改。在框303中，计算机系统400选择在步骤302训练的一个集群，使得所选集群的生成器-检测器对92可以通过步骤304至311训练，如下所述。如果有多个集群，并因此有多个对应的生成器-检测器对92，则可以为每个这样的集群/生成器-检测器对完成步骤304-311。
在框304中，计算机系统400在独立的基础上用所选集群的训练示例训练图2的生成器212。也就是说，生成器212被训练而没有来自图2的对应的检测器202的反向传播。生成器212的进一步训练将在框308中完成。在框305中，计算机系统400在独立的基础上用所选集群的真实训练示例训练图2的检测器202。在一些实施例中，在框305中训练检测器202时，计算机系统400还可以使用如在框304中初始训练的生成器212生成的数据示例。在框306中，计算机系统400使用图2的生成器212来生成代表来自所选集群的数据(即“集群内”数据)的数据。也就是说，所使用的潜在变量的向量是来自集群的数据示例的潜在向量。在框307中，计算机系统400使用在步骤305中训练的图2的检测器202对在步骤306中由生成器212生成的数据进行分类。在框308中，计算机系统400训练生成器212，该训练包含来自检测器202的反向传播。该过程循环返回并重复框306、307和308，直到满足停止标准。作为说明性示例，停止标准可以是(i)收敛、(ii)对迭代次数的特定限制或(iii)由于验证数据的退化而提前停止。
如果满足停止标准，则过程进行到框309，在框309，计算机系统400使用具有来自该集群和来自其他集群的潜在变量的生成器212来生成集群内(正)和集群外(负)数据。然后，在框310中，计算机系统400根据在框309中由生成器212生成的数据训练检测器202。该过程然后循环返回以从框309获得更多的训练数据，直到满足训练检测器202的停止标准。作为说明性示例，在步骤310训练检测器的停止标准可以是(i)收敛、(ii)对迭代次数的特定限制或(iii)由于验证数据的退化而提前停止。
一旦满足训练检测器202的停止标准，过程进行到框311，在框311，计算机系统400使用更新的检测器202对来自该类别的数据进行分类，并且将数据重新分配到集群中或集群外。然后，它将控制返回到框306，以生成集群内模式数据，直到满足停止标准。作为说明性示例，停止标准可以是(i)收敛、(ii)对迭代次数的特定限制或(iii)由于验证数据的退化而提前停止。一旦满足停止标准，就可以对在步骤302训练的任何附加集群一次一个地重复该过程，从而为所述附加集群生成生成器-检测器对。
尽管主要用神经网络作为生成器并且具体用VAE作为生成器212的示例描述了说明性实施例，但是应当理解，可以使用其他类型的生成器。例如，可以使用不同类型的随机自动编码器，称为“随机分类自动编码器(SCAN)”。SCAN具有与VAE相同的形式，但是使用不同的目标，并且对自动编码器中随机层的参数概率分布的参数施加不同的约束。在2018年9月7日提交的题为《随机分类自动编码器网络》的美国专利申请序列号16/124,977中更详细地描述了SCAN，其全部内容通过引用并入本文。
作为另一个示例，可以使用生成对抗网络(GAN)。GAN使用随机层和解码器网络(诸如图2中的生成器212)，但是没有编码器。在训练GAN的过程中，还训练了对抗分类器，但图2中并未显示。对抗分类器试图区分真实数据与由GAN生成器生成的合成数据。GAN生成器的训练目标是欺骗对抗分类器。在图1和图2所示的系统中，在本发明的各种实施例中，GAN生成器除了欺骗其相关的对抗分类器的目标之外，还优选地具有VAE的目标，而不是使其输出匹配其输入的自动编码器的目标。GAN没有编码器，因此其解码器的输入与随机层直接相关，而与编码输入数据示例无关。
在一些实施例中，生成器混合可以包含多种不同类型的生成器(例如，VAE、SCAN、GAN)。在这样的实施例中，如果生成器不能够被训练来生成仅代表特定集群或类别的数据项，则在图2中所示的实施例中，该生成器可以与能够经过训练生成代表特定集群或类别的数据项的另一个生成器配对，从而生成图3的框306和309中所需的数据示例。
在本发明的范围和精神内，可以使用其他类型的生成器。
图4是可用于实现上述实施例的计算机系统400的图。图示的计算机系统400包括多个处理器单元402A-B，在图示的实施例中，每个处理器单元包括多(N)组处理器核404A-N。每个处理器单元402A-B可以包括板上存储器(ROM或RAM)(未示出)和板外存储器406A-B。板上存储器可以包括主存储器、易失性存储器和/或非易失性存储器(即可由处理器核404A-N直接访问的存储器)。板外存储器406A-B可以包括二级非易失性存储器(即不能由处理器核404A-N直接访问的存储器)，诸如ROM、HDD、SSD、闪存等。处理器核404A-N可以是CPU核、GPU核和/或AI加速器核。GPU核并行运行操作(即通用GPU(GPGPU)管线)，因此通常可以比CPU核的集合更有效地处理数据，但是GPU的所有核同时执行相同的代码。AI加速器是一类设计用来加速人工神经网络的微处理器。它们通常也用作具有主CPU 410的设备中的协处理器。AI加速器通常有数万个矩阵乘法器单元，其运算精度低于CPU核(诸如AI加速器中的8位精度与CPU核中的64位精度)。
在各种实施例中，不同的处理器核404可以训练和/或实现不同的网络或子网或组件。例如，在一个实施例中，第一处理器单元402A的核可以实现图1中的生成器101-103，并且第二处理器单元402B可以实现图1中的检测器111-113。此外，第一处理器单元402A中的不同核组可以分别负责生成器101-103中的每个生成器，第二处理器单元402B中的不同核组可以分别负责检测器111-113中的每个检测器。一个或多个主处理器410可以协调和控制处理器单元402A-B。
在其他实施例中，系统400可以用一个处理器单元402来实现。在存在多个处理器单元的实施例中，处理器单元可以是协同定位的或分布式的。例如，可以使用合适的有线和/或无线数据通信链路通过诸如LAN、WAN、因特网等数据网络互连处理器单元402。可以使用合适的数据链路，诸如数据总线(优选地高速数据总线)或网络链路(例如以太网)，在各种处理单元402之间共享数据。
使用任何合适的计算机编程语言(诸如.NET、C、C++、Python)并使用传统的、功能性的或面向对象的技术可以在计算机软件中实现本文描述的各种计算机系统400的软件和本文描述的其他计算机功能。用于计算机软件和其他由计算机实现的指令的编程语言可以在执行之前通过编译器或汇编器翻译成机器语言，和/或可以在运行时由解释器直接进行翻译。汇编语言的示例包含ARM、MIPS以及x86；高级语言的示例包含Ada、BASIC、C、C++、C#、COBOL、Fortran、Java、Lisp、Pascal、Object Pascal、Haskell、ML；脚本语言的示例包含Bourne script、JavaScript、Python、Ruby、Lua、PHP以及Perl。
图5是多层前馈深层神经网络的示例图。本发明的许多组件可以包括神经网络(诸如图4所示的示例神经网络)。神经网络是节点和有向弧的集合。神经网络中的节点经常被组织成层。在前馈神经网络中，当如图5中所示意，这些层可以自下而上编号。分层前馈神经网络中的每个有向弧从较低层的源节点延伸至较高层的目的节点。图5中所示的前馈神经网络具有输入层、输出层和三个内层。神经网络的内层也被称为“隐藏”层。每个有向弧都与一个称为其“权重”的数值相关联。通常，除输入节点之外的每个节点都与一个称为其“偏差”的数值相关联。神经网络的权重和偏差被称为“学习”参数。在训练期间，学习参数的值由图4中所示的计算机系统400调整。控制训练过程的其他参数称为超参数。
计算机系统400可以使用随机梯度下降的迭代过程来训练前馈神经网络，对于每个小批次，对所述学习参数进行一次迭代更新。整批训练数据通常被排列成一组较小的、不相交的集合，称为小批次。一个历元包括计算机系统400对包含在整批训练数据中的每个小批次进行随机梯度下降更新。对于每个小批次，计算机通过使用前馈激活计算首先计算网络中每个节点的激活来估计训练数据项的目标梯度。然后，计算机系统400使用称为“反向传播”的过程来估计目标相对于学习参数的偏导数，该过程基于微积分的链式法则来计算偏导数，继续向后通过网络的各层。随机梯度下降、前馈计算和反向传播的过程对于训练神经网络领域的技术人员是众所周知的。
基于以上描述，很明显，具有其生成器-检测器对的上述系统的实施例可以作为例如生成器、集群分类器或类别分类器来运行。作为生成器，生成器-检测器对可用于生成合成数据(诸如图像数据或其他类型的数据)，用于训练其他机器学习网络或用于其他有益目的。作为集群或类别分类器，它可用于将数据项分类成集群或类别，这可以在多种应用中使用，包含图像和诊断分类系统，仅列举几个例子。
因此，在一个总的方面，本发明涉及用于训练和/或(训练后)操作包括多个生成器-检测器对的机器学习系统的计算机系统和计算机实现的方法。机器学习计算机系统包括一组处理器核和存储软件的计算机存储器。当由该组处理器核执行时，软件使得该组处理器核实现多个生成器-检测器对，其中：(i)每个生成器-检测器对包括机器学习数据生成器和机器学习数据检测器；以及(ii)每个生成器-检测器对分别用于相应的数据示例集群，使得对于每个生成器-检测器对，生成器用于在相应的集群中生成数据示例，检测器用于检测数据示例是否在相应的集群中。
在各种实施方式中，每个生成器-检测器对可以通过执行以下步骤来训练，这些步骤包括：利用对应于生成器-检测器对的集群中的多个数据示例，在没有来自检测器的反向传播的情况下初始训练生成器。在初始训练生成器之后，该方法包括：由生成器生成集群内输入数据示例，该集群内输入数据示例在对应于生成器-检测器对的集群内；由所述检测器对由所述生成器生成的集群内输入数据示例进行分类；以及使用来自检测器的反向传播再次训练生成器。最后，在使用来自检测器的反向传播训练生成器之后，该方法包括使用集群内数据示例和集群外数据示例训练检测器的步骤。
在各种实施方式中，多个生成器-检测器对经过训练后，就可以整体作为生成器、集群分类器和类别分类器运行。当作为生成器运行时，多个生成器-检测器对的生成器可以输出对应于生成器集群的生成的数据示例。当作为集群分类器运行时，机器学习系统可以确定输入数据示例的适当集群是对应于多个生成器-检测器对中具有最大检测激活程度的检测器的集群。当作为类别分类器运行时，机器学习系统的输出可以对应于多个生成器-检测器对的检测器中的最大检测激活程度。
此外，多个生成器-检测器对的每个生成器可以包括从由自动编码器、变分自动编码器(VAE)、随机分类自动编码器网络(SCAN)和生成对抗网络(GAN)组成的群组中选择的生成器类型。此外，生成器-检测器对中的每个生成器和/或检测器可以包括神经网络。而且，每个生成器和/或检测器可以通过随机梯度下降来训练。
本文中所给出的示例旨在例示说明本发明的可能和具体实施方式。可以理解，示例主要旨在用于为本领域技术人员例示说明本发明的目的。示例的特定方面或多个方面未必旨在限制本发明的范围。而且，应当理解的是，本发明的附图和描述已经进行了简化，以例示说明与清楚地理解本发明相关的元件，与此同时为简洁起见消除了其他元件。尽管本文中已经描述了各种实施例，但是应当显而易见的是，在实现至少一些优点的前提下本领域技术人员可以想到对这些实施例的各种修改、改变和调整。在不脱离本文中所阐述实施例的范围的前提下所公开的实施例因此旨在包含此类修改、改变和调整。

Claims (16)

1.一种用于训练类别分类器的机器学习计算机系统，其中所述类别被建模为具有多个集群，包括至少第一集群和第二集群，所述机器学习计算机系统包括：
一组处理器核；以及
存储软件的计算机存储器，当由所述一组处理器核执行时，所述软件使得所述一组处理器核通过机器学习训练多个生成器-检测器对，其中：
所述多个生成器-检测器对包括至少第一生成器-检测器对和第二生成器-检测器对；
所述多个生成器-检测器对中的每个包括生成器和检测器，使得：
第一生成器-检测器对包括第一生成器和第一检测器；和
第二生成器-检测器对包括第二生成器和第二检测器；
每个生成器-检测器对中的每个生成器包括解码器，其中所述解码器包括神经网络，并且使得：
所述第一生成器包括第一解码器；和
所述第二生成器包括第二解码器；
每个生成器-检测器对的检测器包括神经网络，所述神经网络不同于生成器-检测器对的生成器的解码器的神经网络；
多个生成器-检测器对中的每个生成器通过机器学习进行训练，以分别生成类别的多个集群中的生成的数据示例，使得：
通过机器学习对第一生成器进行训练，以在第一集群中生成生成的数据示例；和
通过机器学习对第二生成器进行训练，以在第二集群中生成生成的数据示例；
通过机器学习训练所述多个生成器-检测器对中的每个检测器，以分别确定到所述检测器的输入数据项是否在类别的多个集群中的一个中，使得：
通过机器学习训练第一检测器，以确定到第一检测器的输入数据项是否在类别的第一集群中；
通过机器学习训练第二检测器，以确定到第二检测器的输入数据项是否在类别的第二集群中；和
每个检测器至少使用由生成器-检测器对的生成器生成的生成的数据示例来训练，使得：
至少部分地利用来自第一生成器的生成的数据示例来训练第一检测器；和
至少部分地利用来自第二生成器的生成的数据示例来训练第二检测器；
所述生成器-检测器对的生成器的输出连接到所述生成器-检测器对的对应检测器的输入，使得；
第一生成器-检测器对的第一生成器的第一解码器的输出连接到第一生成器-检测器对的第一检测器的输入；和
第二生成器-检测器对的第二生成器的第二解码器的输出连接到第二生成器-检测器对的第二检测器的输入；和
训练所述多个生成器-检测器对包括，对于所述生成器-检测器对中的每个，将偏导数从所述生成器-检测器对的检测器反向传播到所述生成器-检测器对的生成器，使得：
第一检测器的误差代价函数的偏导数从第一检测器反向传播到第一生成器；和
第二检测器的误差代价函数的偏导数从第二检测器反向传播到第二生成器。
2.根据权利要求1所述的机器学习计算机系统，其中所述多个生成器-检测器对的输出在训练后共同地可运行为类别分类器。
3.根据权利要求2所述的机器学习计算机系统，其中：
第一生成器的输出在训练后可运行为所述第一集群的生成器；和
第二生成器的输出在训练后可运行为第二集群的生成器。
4.根据权利要求2所述的机器学习计算机系统，其中：
第一检测器的输出在训练后可运行为第一集群的集群分类器；和
第二检测器的输出在训练后可运行为第二分类器的集群分类器。
5.根据权利要求2所述的机器学习计算机系统，其中当作为类别分类器运行时，所述机器学习计算机系统的输出对应于所述多个生成器-检测器对的检测器中的最大检测激活程度。
6.根据权利要求1所述的机器学习计算机系统，其中所述多个生成器-检测器对的每个生成器包括从由自动编码器、变分自动编码器、随机分类自动编码器网络和生成对抗网络组成的群组中选择的生成器类型。
7.根据权利要求1所述的机器学习计算机系统，其中每个所述生成器和每个所述检测器通过随机梯度下降训练。
8.根据权利要求1所述的机器学习计算机系统，其中每个生成器包括编码器。
9.一种用于训练类别分类器的计算机实现的方法，其中所述类别被建模为具有多个集群，包括至少第一集群和第二集群，所述方法包括：
由包括一组处理器核的计算机系统通过机器学习训练机器学习系统的多个生成器-检测器对，使得：
所述多个生成器-检测器对包括至少第一生成器-检测器对和第二生成器-检测器对；
每个生成器-检测器对包括生成器和检测器，使得：
第一生成器-检测器对包括第一生成器和第一检测器；和
第二生成器-检测器对包括第二生成器和第二检测器；
每个生成器-检测器对中的生成器包括解码器，其中每个解码器包括神经网络，并且使得：
所述第一生成器包括第一解码器；和
所述第二生成器包括第二解码器；
每个生成器-检测器对中的检测器包括神经网络，所述神经网络不同于生成器-检测器对的生成器的解码器的神经网络；
多个生成器-检测器对中的每个生成器通过机器学习进行训练，以分别生成类别的多个集群中的生成的数据示例，使得：
通过机器学习对第一生成器进行训练，以在第一集群中生成生成的数据示例；和
通过机器学习对第二生成器进行训练，以在第二集群中生成生成的数据示例；
通过机器学习训练所述多个生成器-检测器对中的每个检测器，以分别确定到所述检测器的输入数据项是否在类别的多个集群中的一个中，使得：
通过机器学习训练第一检测器，以确定到第一检测器的输入数据项是否在类别的第一集群中；
通过机器学习训练第二检测器，以确定到第二检测器的输入数据项是否在类别的第二集群中；和
每个检测器至少使用由生成器-检测器对的生成器生成的生成的数据示例来训练，使得：
至少部分地利用来自第一生成器的生成的数据示例来训练第一检测器；和
至少部分地利用来自第二生成器的生成的数据示例来训练第二检测器；
每个生成器-检测器对的解码器的输出连接到所述生成器-检测器对的检测器的输入，使得；
第一生成器-检测器对的第一生成器的第一解码器的输出连接到第一生成器-检测器对的第一检测器的输入；和
第二生成器-检测器对的第二生成器的第二解码器的输出连接到第二生成器-检测器对的第二检测器的输入；和
训练所述多个生成器-检测器对包括，对于所述生成器-检测器对中的每个，将偏导数从所述生成器-检测器对的检测器反向传播到所述生成器-检测器对的生成器，使得：
第一检测器的误差代价函数的偏导数从第一检测器反向传播到第一生成器；和
第二检测器的误差代价函数的偏导数从第二检测器反向传播到第二生成器。
10.根据权利要求9所述的方法，其中训练所述多个生成器-检测器对包括：对于所述多个生成器-检测器对中的每个：
利用对应于所述生成器-检测器对的所述集群中的多个数据示例，在没有来自生成器-检测器对的对应检测器的反向传播的情况下初始训练所述生成器；
在初始训练所述生成器之后：
由所述生成器生成在对应于所述生成器-检测器对的所述集群内的集群内生成的数据示例；
由所述检测器对由所述生成器生成的所述集群内生成的数据示例进行分类；以及
利用来自所述检测器的反向传播再次训练所述生成器；
在利用来自所述检测器的反向传播训练所述生成器之后，利用集群内数据示例和集群外数据示例训练所述检测器。
11.根据权利要求10所述的方法，其中训练所述多个生成器-检测器对包括训练所述多个生成器-检测器对，使得所述机器学习系统在训练后能够作为生成器、作为集群分类器和作为类别分类器运行，其中：
当作为生成器运行时，所述多个生成器-检测器对的生成器输出对应于所述生成器集群的生成的数据示例；
当作为集群分类器运行时，所述机器学习系统确定用于输入数据示例的适当集群是对应于所述多个生成器-检测器对中具有最大检测激活程度的检测器的集群；以及
当作为类别分类器运行时，所述机器学习系统的输出对应于所述多个生成器-检测器对的检测器中的最大检测激活程度。
12.根据权利要求10所述的方法，其中所述多个生成器-检测器对中的每个生成器包括从由自动编码器、变分自动编码器、随机分类自动编码器网络和生成对抗网络组成的群组中选择的生成器类型。
13.根据权利要求9所述的方法，其中再次训练所述生成器包括通过随机梯度下降对所述生成器进行再次训练。
14.根据权利要求11所述的方法，其中所述多个生成器-检测器对中的每个生成器包括从由自动编码器、变分自动编码器、随机分类自动编码器网络和生成对抗网络组成的群组中选择的生成器类型。
15.根据权利要求9所述的方法，其中训练多个生成器-检测器对包括用第一集群的反例来训练第一生成器-检测器对的第一检测器。
16.根据权利要求15所述的方法，其中所述第一集群的反例包括来自所述第二生成器的生成的数据示例。
CN201880067064.XA 2017-09-28 2018-09-14 混合生成器模型 Active CN111226232B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201762564754P 2017-09-28 2017-09-28
US62/564,754 2017-09-28
PCT/US2018/051069 WO2019067236A1 (en) 2017-09-28 2018-09-14 MIXING OF GENERATOR MODELS

Publications (2)

Publication Number Publication Date
CN111226232A CN111226232A (zh) 2020-06-02
CN111226232B true CN111226232B (zh) 2024-04-12

Family

ID=65807592

Family Applications (3)

Application Number Title Priority Date Filing Date
CN201880067064.XA Active CN111226232B (zh) 2017-09-28 2018-09-14 混合生成器模型
CN201880067035.3A Pending CN111226236A (zh) 2017-09-28 2018-09-28 深度学习中的多目标生成器
CN201880076808.4A Pending CN111542843A (zh) 2017-09-28 2018-09-28 利用协作生成器积极开发

Family Applications After (2)

Application Number Title Priority Date Filing Date
CN201880067035.3A Pending CN111226236A (zh) 2017-09-28 2018-09-28 深度学习中的多目标生成器
CN201880076808.4A Pending CN111542843A (zh) 2017-09-28 2018-09-28 利用协作生成器积极开发

Country Status (4)

Country Link
US (11) US10679129B2 (zh)
EP (3) EP3688676A4 (zh)
CN (3) CN111226232B (zh)
WO (3) WO2019067236A1 (zh)

Families Citing this family (151)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
GB201718756D0 (en) * 2017-11-13 2017-12-27 Cambridge Bio-Augmentation Systems Ltd Neural interface
WO2018176000A1 (en) 2017-03-23 2018-09-27 DeepScale, Inc. Data synthesis for autonomous control systems
WO2018226492A1 (en) 2017-06-05 2018-12-13 D5Ai Llc Asynchronous agents with learning coaches and structurally modifying deep neural networks without performance degradation
EP3635716A4 (en) 2017-06-08 2021-04-07 D5Ai Llc DATA DISTRIBUTION BY GRADIENT DIRECTION FOR NEURAL NETWORKS
CN110914839B (zh) 2017-06-26 2024-04-26 D5Ai有限责任公司 错误去相关的选择性训练
US11003982B2 (en) 2017-06-27 2021-05-11 D5Ai Llc Aligned training of deep networks
US11893393B2 (en) 2017-07-24 2024-02-06 Tesla, Inc. Computational array microprocessor system with hardware arbiter managing memory requests
US10671349B2 (en) 2017-07-24 2020-06-02 Tesla, Inc. Accelerated mathematical engine
US11157441B2 (en) 2017-07-24 2021-10-26 Tesla, Inc. Computational array microprocessor system using non-consecutive data formatting
US11409692B2 (en) 2017-07-24 2022-08-09 Tesla, Inc. Vector computational unit
WO2019067542A1 (en) 2017-09-28 2019-04-04 D5Ai Llc JOINT OPTIMIZATION OF DEEP LEARNING SETS
US10679129B2 (en) 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
JP6886112B2 (ja) * 2017-10-04 2021-06-16 富士通株式会社 学習プログラム、学習装置及び学習方法
US10671435B1 (en) 2017-10-19 2020-06-02 Pure Storage, Inc. Data transformation caching in an artificial intelligence infrastructure
US11861423B1 (en) 2017-10-19 2024-01-02 Pure Storage, Inc. Accelerating artificial intelligence (‘AI’) workflows
US11494692B1 (en) 2018-03-26 2022-11-08 Pure Storage, Inc. Hyperscale artificial intelligence and machine learning infrastructure
US11455168B1 (en) * 2017-10-19 2022-09-27 Pure Storage, Inc. Batch building for deep learning training workloads
US10360214B2 (en) 2017-10-19 2019-07-23 Pure Storage, Inc. Ensuring reproducibility in an artificial intelligence infrastructure
US11250329B2 (en) * 2017-10-26 2022-02-15 Nvidia Corporation Progressive modification of generative adversarial neural networks
US11263525B2 (en) 2017-10-26 2022-03-01 Nvidia Corporation Progressive modification of neural networks
US11763159B2 (en) * 2018-01-29 2023-09-19 International Business Machines Corporation Mitigating false recognition of altered inputs in convolutional neural networks
US11321612B2 (en) 2018-01-30 2022-05-03 D5Ai Llc Self-organizing partially ordered networks and soft-tying learned parameters, such as connection weights
WO2019152308A1 (en) 2018-01-30 2019-08-08 D5Ai Llc Self-organizing partially ordered networks
US11093830B2 (en) 2018-01-30 2021-08-17 D5Ai Llc Stacking multiple nodal networks
US11561791B2 (en) 2018-02-01 2023-01-24 Tesla, Inc. Vector computational unit receiving data elements in parallel from a last row of a computational array
CN111727441A (zh) * 2018-02-09 2020-09-29 渊慧科技有限公司 实现用于高效学习的条件神经过程的神经网络系统
JP7085158B2 (ja) * 2018-04-26 2022-06-16 日本電信電話株式会社 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
JP7002404B2 (ja) * 2018-05-15 2022-01-20 株式会社日立製作所 データから潜在因子を発見するニューラルネットワーク
US11151450B2 (en) * 2018-05-21 2021-10-19 Fair Isaac Corporation System and method for generating explainable latent features of machine learning models
US11797864B2 (en) * 2018-06-18 2023-10-24 Fotonation Limited Systems and methods for conditional generative models
US11215999B2 (en) 2018-06-20 2022-01-04 Tesla, Inc. Data pipeline and deep learning system for autonomous driving
US11676026B2 (en) 2018-06-29 2023-06-13 D5Ai Llc Using back propagation computation as data
WO2020009881A1 (en) 2018-07-03 2020-01-09 D5Ai Llc Analyzing and correcting vulnerabillites in neural networks
US11195097B2 (en) 2018-07-16 2021-12-07 D5Ai Llc Building ensembles for deep learning by parallel data splitting
US11361457B2 (en) 2018-07-20 2022-06-14 Tesla, Inc. Annotation cross-labeling for autonomous control systems
US11636333B2 (en) 2018-07-26 2023-04-25 Tesla, Inc. Optimizing neural network structures for embedded systems
US11468330B2 (en) * 2018-08-03 2022-10-11 Raytheon Company Artificial neural network growth
US11501164B2 (en) 2018-08-09 2022-11-15 D5Ai Llc Companion analysis network in deep learning
WO2020041026A1 (en) 2018-08-23 2020-02-27 D5Ai Llc Efficently building deep neural networks
WO2020046721A1 (en) 2018-08-27 2020-03-05 D5Ai Llc Building a deep neural network with diverse strata
US11037059B2 (en) 2018-08-31 2021-06-15 D5Ai Llc Self-supervised back propagation for deep learning
US11562231B2 (en) 2018-09-03 2023-01-24 Tesla, Inc. Neural networks for embedded devices
US11593641B2 (en) * 2018-09-19 2023-02-28 Tata Consultancy Services Limited Automatic generation of synthetic samples using dynamic deep autoencoders
US11151334B2 (en) * 2018-09-26 2021-10-19 Huawei Technologies Co., Ltd. Systems and methods for multilingual text generation field
CN113039556B (zh) 2018-10-11 2022-10-21 特斯拉公司 用于使用增广数据训练机器模型的系统和方法
US20200125924A1 (en) * 2018-10-22 2020-04-23 Siemens Aktiengesellschaft Method and system for analyzing a neural network
US11196678B2 (en) 2018-10-25 2021-12-07 Tesla, Inc. QOS manager for system on a chip communications
JP2020086479A (ja) * 2018-11-15 2020-06-04 株式会社日立製作所 計算機、ニューラルネットワークの構築方法、および計算機システム
KR20210111254A (ko) * 2018-11-30 2021-09-10 캐리스 엠피아이, 아이엔씨. 차세대 분자 프로파일링
US11816585B2 (en) 2018-12-03 2023-11-14 Tesla, Inc. Machine learning models operating at different frequencies for autonomous vehicles
US11537811B2 (en) 2018-12-04 2022-12-27 Tesla, Inc. Enhanced object detection for autonomous vehicles based on field view
WO2020129412A1 (ja) * 2018-12-17 2020-06-25 ソニー株式会社 学習装置、識別装置およびプログラム
US11995854B2 (en) * 2018-12-19 2024-05-28 Nvidia Corporation Mesh reconstruction using data-driven priors
US11610098B2 (en) * 2018-12-27 2023-03-21 Paypal, Inc. Data augmentation in transaction classification using a neural network
US11610117B2 (en) 2018-12-27 2023-03-21 Tesla, Inc. System and method for adapting a neural network model on a hardware platform
US11928556B2 (en) * 2018-12-29 2024-03-12 International Business Machines Corporation Removing unnecessary history from reinforcement learning state
US11514330B2 (en) * 2019-01-14 2022-11-29 Cambia Health Solutions, Inc. Systems and methods for continual updating of response generation by an artificial intelligence chatbot
DE102019200565A1 (de) * 2019-01-17 2020-07-23 Robert Bosch Gmbh Vorrichtung und Verfahren zur Klassifizierung von Daten insbesondere für ein Controller Area Netzwerk oder ein automotive Ethernet Netzwerk.
US10997461B2 (en) 2019-02-01 2021-05-04 Tesla, Inc. Generating ground truth for machine learning from time series elements
US11567514B2 (en) 2019-02-11 2023-01-31 Tesla, Inc. Autonomous and user controlled vehicle summon to a target
US10510002B1 (en) * 2019-02-14 2019-12-17 Capital One Services, Llc Stochastic gradient boosting for deep neural networks
US10956755B2 (en) 2019-02-19 2021-03-23 Tesla, Inc. Estimating object properties using visual image data
US20200293942A1 (en) * 2019-03-11 2020-09-17 Cisco Technology, Inc. Distributed learning model for fog computing
US11704573B2 (en) * 2019-03-25 2023-07-18 Here Global B.V. Method, apparatus, and computer program product for identifying and compensating content contributors
DE102019206620A1 (de) * 2019-04-18 2020-10-22 Robert Bosch Gmbh Verfahren, Vorrichtung und Computerprogramm zum Erstellen eines neuronalen Netzes
US11531879B1 (en) 2019-04-25 2022-12-20 Perceive Corporation Iterative transfer of machine-trained network inputs from validation set to training set
US11610154B1 (en) 2019-04-25 2023-03-21 Perceive Corporation Preventing overfitting of hyperparameters during training of network
US11900238B1 (en) * 2019-04-25 2024-02-13 Perceive Corporation Removing nodes from machine-trained network based on introduction of probabilistic noise during training
CN110084863B (zh) * 2019-04-25 2020-12-25 中山大学 一种基于生成对抗网络的多域图像转换方法与系统
US11175959B2 (en) * 2019-05-01 2021-11-16 International Business Machines Corporation Determine a load balancing mechanism for allocation of shared resources in a storage system by training a machine learning module based on number of I/O operations
US11175958B2 (en) 2019-05-01 2021-11-16 International Business Machines Corporation Determine a load balancing mechanism for allocation of shared resources in a storage system using a machine learning module based on number of I/O operations
CN110096810B (zh) * 2019-05-05 2020-03-17 中南大学 一种基于逐层数据扩充深度学习的工业过程软测量方法
JP7202260B2 (ja) * 2019-06-07 2023-01-11 株式会社日立製作所 ハイパーパラメータ管理装置、ハイパーパラメータ管理システム及びハイパーパラメータ管理方法
JP7328799B2 (ja) * 2019-06-12 2023-08-17 株式会社日立製作所 ストレージシステムおよび記憶制御方法
CN110113057B (zh) * 2019-06-12 2023-06-13 中国计量大学 一种利用深度学习的极化码译码器
JP7116711B2 (ja) * 2019-06-14 2022-08-10 株式会社東芝 情報処理装置、情報処理方法及びコンピュータプログラム
US11514311B2 (en) * 2019-07-03 2022-11-29 International Business Machines Corporation Automated data slicing based on an artificial neural network
EP3767533A1 (en) * 2019-07-17 2021-01-20 Robert Bosch GmbH A machine learnable system with normalizing flow
JP7222429B2 (ja) * 2019-07-30 2023-02-15 日本電信電話株式会社 データ選択方法、データ選択装置及びプログラム
US11443137B2 (en) 2019-07-31 2022-09-13 Rohde & Schwarz Gmbh & Co. Kg Method and apparatus for detecting signal features
WO2021040944A1 (en) 2019-08-26 2021-03-04 D5Ai Llc Deep learning with judgment
WO2021044467A1 (ja) * 2019-09-02 2021-03-11 日本電信電話株式会社 ニューラルネットワーク学習装置、ニューラルネットワーク学習方法、プログラム
EP3789924A1 (en) * 2019-09-09 2021-03-10 Robert Bosch GmbH Stochastic data augmentation for machine learning
JP7392366B2 (ja) * 2019-10-01 2023-12-06 富士通株式会社 最適解獲得プログラム、最適解獲得方法および情報処理装置
US11586912B2 (en) * 2019-10-18 2023-02-21 International Business Machines Corporation Integrated noise generation for adversarial training
EP3816864A1 (en) * 2019-10-28 2021-05-05 Robert Bosch GmbH Device and method for the generation of synthetic data in generative networks
CN111008277B (zh) * 2019-10-30 2020-11-03 创意信息技术股份有限公司 一种自动文本摘要方法
WO2020035085A2 (en) * 2019-10-31 2020-02-20 Alipay (Hangzhou) Information Technology Co., Ltd. System and method for determining voice characteristics
US20210150306A1 (en) * 2019-11-14 2021-05-20 Qualcomm Incorporated Phase selective convolution with dynamic weight selection
US11710046B2 (en) * 2019-11-29 2023-07-25 42Maru Inc. Method and apparatus for generating Q and A model by using adversarial learning
WO2021112918A1 (en) 2019-12-02 2021-06-10 Caris Mpi, Inc. Pan-cancer platinum response predictor
US11727284B2 (en) 2019-12-12 2023-08-15 Business Objects Software Ltd Interpretation of machine learning results using feature analysis
US20210192376A1 (en) * 2019-12-23 2021-06-24 Sap Se Automated, progressive explanations of machine learning results
CN111104997B (zh) * 2019-12-25 2023-05-23 青岛创新奇智科技集团股份有限公司 一种基于深度学习的商品二维码生成方法及系统
CN113093967A (zh) 2020-01-08 2021-07-09 富泰华工业（深圳）有限公司 数据生成方法、装置、计算机装置及存储介质
US11138094B2 (en) 2020-01-10 2021-10-05 International Business Machines Corporation Creation of minimal working examples and environments for troubleshooting code issues
US11163592B2 (en) * 2020-01-10 2021-11-02 International Business Machines Corporation Generation of benchmarks of applications based on performance traces
CN111131658B (zh) * 2020-01-19 2021-08-24 中国科学技术大学 图像隐写方法、装置、电子设备及介质
US11675879B2 (en) * 2020-02-20 2023-06-13 K2Ai, LLC Apparatus and method for operating a detection and response system
US11776679B2 (en) * 2020-03-10 2023-10-03 The Board Of Trustees Of The Leland Stanford Junior University Methods for risk map prediction in AI-based MRI reconstruction
TWI714480B (zh) * 2020-03-19 2020-12-21 索爾智慧機械有限公司 拉帽安裝工具測試儀器之數據顯示方法
WO2021194516A1 (en) 2020-03-23 2021-09-30 D5Ai Llc Data-dependent node-to-node knowledge sharing by regularization in deep learning
US11494496B2 (en) * 2020-03-30 2022-11-08 International Business Machines Corporation Measuring overfitting of machine learning computer model and susceptibility to security threats
US11580455B2 (en) 2020-04-01 2023-02-14 Sap Se Facilitating machine learning configuration
US11514318B2 (en) * 2020-04-08 2022-11-29 International Business Machines Corporation Multi-source transfer learning from pre-trained networks
CN111242948B (zh) * 2020-04-29 2020-09-01 腾讯科技（深圳）有限公司 图像处理、模型训练方法、装置、设备和存储介质
US11651225B2 (en) * 2020-05-05 2023-05-16 Mitsubishi Electric Research Laboratories, Inc. Non-uniform regularization in artificial neural networks for adaptable scaling
US20210406693A1 (en) * 2020-06-25 2021-12-30 Nxp B.V. Data sample analysis in a dataset for a machine learning model
US20220035334A1 (en) * 2020-07-29 2022-02-03 Abb Schweiz Ag Technologies for producing training data for identifying degradation of physical components
US20220043681A1 (en) * 2020-08-04 2022-02-10 Oracle International Corporation Memory usage prediction for machine learning and deep learning models
US11909482B2 (en) * 2020-08-18 2024-02-20 Qualcomm Incorporated Federated learning for client-specific neural network parameter generation for wireless communication
US11836600B2 (en) 2020-08-20 2023-12-05 D5Ai Llc Targeted incremental growth with continual learning in deep neural networks
TWI810487B (zh) * 2020-09-25 2023-08-01 國立成功大學 太陽能發電預測方法
US20220108434A1 (en) * 2020-10-07 2022-04-07 National Technology & Engineering Solutions Of Sandia, Llc Deep learning for defect detection in high-reliability components
KR20220046324A (ko) 2020-10-07 2022-04-14 삼성전자주식회사 인공 신경망을 이용한 추론을 위한 트레이닝 방법, 인공 신경망을 이용한 추론 방법, 및 추론 장치
US11580396B2 (en) 2020-10-13 2023-02-14 Aira Technologies, Inc. Systems and methods for artificial intelligence discovered codes
US11615782B2 (en) * 2020-11-12 2023-03-28 Sony Interactive Entertainment Inc. Semi-sorted batching with variable length input for efficient training
US11818147B2 (en) * 2020-11-23 2023-11-14 Fair Isaac Corporation Overly optimistic data patterns and learned adversarial latent features
US20220180254A1 (en) * 2020-12-08 2022-06-09 International Business Machines Corporation Learning robust predictors using game theory
CN112417895A (zh) * 2020-12-15 2021-02-26 广州博冠信息科技有限公司 弹幕数据处理方法、装置、设备以及存储介质
US11088784B1 (en) 2020-12-24 2021-08-10 Aira Technologies, Inc. Systems and methods for utilizing dynamic codes with neural networks
US11575469B2 (en) 2020-12-28 2023-02-07 Aira Technologies, Inc. Multi-bit feedback protocol systems and methods
US11368250B1 (en) 2020-12-28 2022-06-21 Aira Technologies, Inc. Adaptive payload extraction and retransmission in wireless data communications with error aggregations
US11483109B2 (en) 2020-12-28 2022-10-25 Aira Technologies, Inc. Systems and methods for multi-device communication
US11191049B1 (en) 2020-12-28 2021-11-30 Aira Technologies, Inc. Systems and methods for improving wireless performance
US11477308B2 (en) 2020-12-28 2022-10-18 Aira Technologies, Inc. Adaptive payload extraction in wireless communications involving multi-access address packets
CN112685314A (zh) * 2021-01-05 2021-04-20 广州知图科技有限公司 一种JavaScript引擎安全测试方法及测试系统
US20220253990A1 (en) * 2021-02-10 2022-08-11 Adobe Inc. Media enhancement using discriminative and generative models with feedback
US20220291955A1 (en) 2021-03-09 2022-09-15 Intel Corporation Asynchronous input dependency resolution mechanism
US11489623B2 (en) * 2021-03-15 2022-11-01 Aira Technologies, Inc. Error correction in network packets
US11496242B2 (en) 2021-03-15 2022-11-08 Aira Technologies, Inc. Fast cyclic redundancy check: utilizing linearity of cyclic redundancy check for accelerating correction of corrupted network packets
CN113095377A (zh) * 2021-03-26 2021-07-09 中国科学院电工研究所 一种危险驾驶场景数据随机生成方法及系统
TWI769820B (zh) * 2021-05-19 2022-07-01 鴻海精密工業股份有限公司 生成對抗網路優化方法及電子設備
WO2022252013A1 (en) * 2021-05-31 2022-12-08 Robert Bosch Gmbh Method and apparatus for training neural network for imitating demonstrator's behavior
US11675817B1 (en) 2021-06-22 2023-06-13 Wells Fargo Bank, N.A. Synthetic data generation
US20220414447A1 (en) * 2021-06-24 2022-12-29 Paypal, Inc. Implicit curriculum learning
WO2023283501A1 (en) * 2021-07-06 2023-01-12 PAIGE.AI, Inc. Systems and methods to process electronic images for synthetic image generation
US11797425B2 (en) * 2021-07-09 2023-10-24 International Business Machines Corporation Data augmentation based on failure cases
DE102021208726A1 (de) 2021-08-10 2023-02-16 Robert Bosch Gesellschaft mit beschränkter Haftung Training eines Generators für synthetische Messdaten mit augmentierten Trainingsdaten
TWI780940B (zh) * 2021-10-04 2022-10-11 國立中央大學 基於深度學習的任務導向去噪系統及方法
WO2023100190A1 (en) * 2021-12-02 2023-06-08 Telefonaktiebolaget Lm Ericsson (Publ) First node, second node and methods performed thereby for handling data augmentation
US11983238B2 (en) * 2021-12-03 2024-05-14 International Business Machines Corporation Generating task-specific training data
US11948064B2 (en) 2021-12-08 2024-04-02 Visa International Service Association System, method, and computer program product for cleaning noisy data from unlabeled datasets using autoencoders
US20230289658A1 (en) * 2022-01-14 2023-09-14 Home Depot Product Authority, Llc Incremental machine learning training
WO2023192766A1 (en) * 2022-03-31 2023-10-05 D5Ai Llc Generation and discrimination training as a variable resolution game
US11983162B2 (en) 2022-04-26 2024-05-14 Truist Bank Change management process for identifying potential regulatory violations for improved processing efficiency
EP4276724A1 (de) * 2022-05-09 2023-11-15 RTL Deutschland GmbH Automatische prognose von wirkungen eines medien-objekts
WO2024044704A1 (en) * 2022-08-25 2024-02-29 Sabic Global Technologies B.V. Systems and methods for generating training data
US11615316B1 (en) * 2022-09-19 2023-03-28 Rain Neuromorphics Inc. Machine learning using gradient estimate determined using improved perturbations
US11822908B1 (en) * 2023-02-10 2023-11-21 CuraeChoice, Inc. Extensible compilation using composite programming for hardware
CN116807479B (zh) * 2023-08-28 2023-11-10 成都信息工程大学 一种基于多模态深度神经网络的驾驶注意力检测方法

Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106688011A (zh) * 2014-09-10 2017-05-17 北京市商汤科技开发有限公司 用于多类别物体检测的方法和系统

Family Cites Families (79)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US5131055A (en) * 1990-02-16 1992-07-14 The United States Of America As Represented By The Administrator Of The National Aeronautics And Space Administration Auto and hetero-associative memory using a 2-D optical logic gate
US5959574A (en) 1993-12-21 1999-09-28 Colorado State University Research Foundation Method and system for tracking multiple regional objects by multi-dimensional relaxation
US6324532B1 (en) * 1997-02-07 2001-11-27 Sarnoff Corporation Method and apparatus for training a neural network to detect objects in an image
US6128606A (en) 1997-03-11 2000-10-03 At&T Corporation Module for constructing trainable modular network in which each module inputs and outputs data structured as a graph
US7318051B2 (en) 2001-05-18 2008-01-08 Health Discovery Corporation Methods for feature selection in a learning machine
US7054847B2 (en) * 2001-09-05 2006-05-30 Pavilion Technologies, Inc. System and method for on-line training of a support vector machine
US7609608B2 (en) * 2001-09-26 2009-10-27 General Atomics Method and apparatus for data transfer using a time division multiple frequency scheme with additional modulation
US7016884B2 (en) * 2002-06-27 2006-03-21 Microsoft Corporation Probability estimate for K-nearest neighbor
US20040010480A1 (en) * 2002-07-09 2004-01-15 Lalitha Agnihotri Method, apparatus, and program for evolving neural network architectures to detect content in media information
US20040042650A1 (en) 2002-08-30 2004-03-04 Lockheed Martin Corporation Binary optical neural network classifiers for pattern recognition
US7437336B2 (en) * 2003-08-01 2008-10-14 George Mason Intellectual Properties, Inc. Polyoptimizing genetic algorithm for finding multiple solutions to problems
KR100506095B1 (ko) * 2003-11-17 2005-08-03 삼성전자주식회사 지능형 시스템에 있어서 표식검출방법 및 장치
US7587064B2 (en) 2004-02-03 2009-09-08 Hrl Laboratories, Llc Active learning system for object fingerprinting
US20070289013A1 (en) * 2006-06-08 2007-12-13 Keng Leng Albert Lim Method and system for anomaly detection using a collective set of unsupervised machine-learning algorithms
WO2008063598A2 (en) * 2006-11-17 2008-05-29 Honda Motor Co., Ltd. Fully bayesian linear regression
US8204128B2 (en) * 2007-08-01 2012-06-19 Her Majesty The Queen In Right Of Canada, As Represented By The Minister Of Industry, Through The Communications Research Centre Canada Learning filters for enhancing the quality of block coded still and video images
US20100324708A1 (en) * 2007-11-27 2010-12-23 Nokia Corporation encoder
AU2010308329B2 (en) * 2009-10-19 2016-10-13 Labrador Diagnostics Llc Integrated health data capture and analysis system
US8731337B2 (en) * 2011-08-05 2014-05-20 Adobe Systems Incorporated Denoising and artifact removal in image upscaling
US8484022B1 (en) * 2012-07-27 2013-07-09 Google Inc. Adaptive auto-encoders
CN102930291B (zh) * 2012-10-15 2015-04-08 西安电子科技大学 用于图形图像的k近邻局部搜索遗传自动聚类方法
US8527276B1 (en) 2012-10-25 2013-09-03 Google Inc. Speech synthesis using deep neural networks
US9646226B2 (en) * 2013-04-16 2017-05-09 The Penn State Research Foundation Instance-weighted mixture modeling to enhance training collections for image annotation
US20140358828A1 (en) 2013-05-29 2014-12-04 Purepredictive, Inc. Machine learning generated action plan
US10459117B2 (en) * 2013-06-03 2019-10-29 Exxonmobil Upstream Research Company Extended subspace method for cross-talk mitigation in multi-parameter inversion
US9247911B2 (en) 2013-07-10 2016-02-02 Alivecor, Inc. Devices and methods for real-time denoising of electrocardiograms
US9753796B2 (en) * 2013-12-06 2017-09-05 Lookout, Inc. Distributed monitoring, evaluation, and response for multiple devices
US20150228277A1 (en) * 2014-02-11 2015-08-13 Malaspina Labs (Barbados), Inc. Voiced Sound Pattern Detection
US11232319B2 (en) * 2014-05-16 2022-01-25 The Trustees Of The University Of Pennsylvania Applications of automatic anatomy recognition in medical tomographic imagery based on fuzzy anatomy models
US10832138B2 (en) * 2014-11-27 2020-11-10 Samsung Electronics Co., Ltd. Method and apparatus for extending neural network
US10275719B2 (en) 2015-01-29 2019-04-30 Qualcomm Incorporated Hyper-parameter selection for deep convolutional networks
US9576250B2 (en) 2015-02-24 2017-02-21 Xerox Corporation Method and system for simulating users in the context of a parking lot based on the automatic learning of a user choice decision function from historical data considering multiple user behavior profiles
US10410118B2 (en) 2015-03-13 2019-09-10 Deep Genomics Incorporated System and method for training neural networks
US20160277767A1 (en) * 2015-03-16 2016-09-22 Thomson Licensing Methods, systems and apparatus for determining prediction adjustment factors
US20160321523A1 (en) 2015-04-30 2016-11-03 The Regents Of The University Of California Using machine learning to filter monte carlo noise from images
US10565518B2 (en) 2015-06-23 2020-02-18 Adobe Inc. Collaborative feature learning from social media
US10552730B2 (en) 2015-06-30 2020-02-04 Adobe Inc. Procedural modeling using autoencoder neural networks
US9699205B2 (en) * 2015-08-31 2017-07-04 Splunk Inc. Network security system
US10521902B2 (en) * 2015-10-14 2019-12-31 The Regents Of The University Of California Automated segmentation of organ chambers using deep learning methods from medical imaging
US10776712B2 (en) * 2015-12-02 2020-09-15 Preferred Networks, Inc. Generative machine learning systems for drug design
US11170294B2 (en) * 2016-01-07 2021-11-09 Intel Corporation Hardware accelerated machine learning
US10043243B2 (en) * 2016-01-22 2018-08-07 Siemens Healthcare Gmbh Deep unfolding algorithm for efficient image denoising under varying noise conditions
US10733532B2 (en) * 2016-01-27 2020-08-04 Bonsai AI, Inc. Multiple user interfaces of an artificial intelligence system to accommodate different types of users solving different types of problems with artificial intelligence
US11087234B2 (en) * 2016-01-29 2021-08-10 Verizon Media Inc. Method and system for distributed deep machine learning
US10176799B2 (en) * 2016-02-02 2019-01-08 Mitsubishi Electric Research Laboratories, Inc. Method and system for training language models to reduce recognition errors
US10089717B2 (en) * 2016-04-05 2018-10-02 Flipboard, Inc. Image scaling using a convolutional neural network
US20170328194A1 (en) 2016-04-25 2017-11-16 University Of Southern California Autoencoder-derived features as inputs to classification algorithms for predicting failures
EP4312157A3 (en) * 2016-05-20 2024-03-20 DeepMind Technologies Limited Progressive neurale netzwerke
US10043252B2 (en) * 2016-06-14 2018-08-07 Intel Corporation Adaptive filtering with weight analysis
US10387765B2 (en) * 2016-06-23 2019-08-20 Siemens Healthcare Gmbh Image correction using a deep generative machine-learning model
US20180024968A1 (en) 2016-07-22 2018-01-25 Xerox Corporation System and method for domain adaptation using marginalized stacked denoising autoencoders with domain prediction regularization
US10504004B2 (en) * 2016-09-16 2019-12-10 General Dynamics Mission Systems, Inc. Systems and methods for deep model translation generation
US11210589B2 (en) 2016-09-28 2021-12-28 D5Ai Llc Learning coach for machine learning system
US10096088B2 (en) * 2016-09-28 2018-10-09 Disney Enterprises, Inc. Robust regression method for image-space denoising
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis
US10621586B2 (en) * 2017-01-31 2020-04-14 Paypal, Inc. Fraud prediction based on partial usage data
US20180218256A1 (en) * 2017-02-02 2018-08-02 Qualcomm Incorporated Deep convolution neural network behavior generator
WO2018175098A1 (en) 2017-03-24 2018-09-27 D5Ai Llc Learning coach for machine learning system
US10489887B2 (en) * 2017-04-10 2019-11-26 Samsung Electronics Co., Ltd. System and method for deep learning image super resolution
US11361758B2 (en) 2017-04-18 2022-06-14 D5Ai Llc Multi-stage machine learning and recognition
US20180342045A1 (en) * 2017-05-26 2018-11-29 Microsoft Technology Licensing, Llc Image resolution enhancement using machine learning
WO2018226492A1 (en) 2017-06-05 2018-12-13 D5Ai Llc Asynchronous agents with learning coaches and structurally modifying deep neural networks without performance degradation
EP3635716A4 (en) 2017-06-08 2021-04-07 D5Ai Llc DATA DISTRIBUTION BY GRADIENT DIRECTION FOR NEURAL NETWORKS
US20200143240A1 (en) 2017-06-12 2020-05-07 D5Ai Llc Robust anti-adversarial machine learning
CN110914839B (zh) 2017-06-26 2024-04-26 D5Ai有限责任公司 错误去相关的选择性训练
US11003982B2 (en) 2017-06-27 2021-05-11 D5Ai Llc Aligned training of deep networks
US11403531B2 (en) * 2017-07-19 2022-08-02 Disney Enterprises, Inc. Factorized variational autoencoders
WO2019067831A1 (en) 2017-09-28 2019-04-04 D5Ai Llc MULTI-OBJECTIVE DEEP LEARNING GENERATORS
WO2019067960A1 (en) 2017-09-28 2019-04-04 D5Ai Llc AGGRESSIVE DEVELOPMENT USING COOPERATIVE GENERATORS
US10679129B2 (en) 2017-09-28 2020-06-09 D5Ai Llc Stochastic categorical autoencoder network
WO2019067542A1 (en) 2017-09-28 2019-04-04 D5Ai Llc JOINT OPTIMIZATION OF DEEP LEARNING SETS
US10592779B2 (en) 2017-12-21 2020-03-17 International Business Machines Corporation Generative adversarial network medical image generation for training of a classifier
US10540578B2 (en) 2017-12-21 2020-01-21 International Business Machines Corporation Adapting a generative adversarial network to new data sources for image classification
US11138731B2 (en) * 2018-05-30 2021-10-05 Siemens Healthcare Gmbh Methods for generating synthetic training data and for training deep learning algorithms for tumor lesion characterization, method and system for tumor lesion characterization, computer program and electronically readable storage medium
US10692019B2 (en) * 2018-07-06 2020-06-23 Capital One Services, Llc Failure feedback system for enhancing machine learning accuracy by synthetic data generation
EP3624021A1 (en) * 2018-09-17 2020-03-18 Robert Bosch GmbH Device and method for training an augmented discriminator
US11580329B2 (en) * 2018-09-18 2023-02-14 Microsoft Technology Licensing, Llc Machine-learning training service for synthetic data
US11593641B2 (en) * 2018-09-19 2023-02-28 Tata Consultancy Services Limited Automatic generation of synthetic samples using dynamic deep autoencoders
US11366982B2 (en) 2018-09-24 2022-06-21 Sap Se Computer systems for detecting training data usage in generative models

Patent Citations (1)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106688011A (zh) * 2014-09-10 2017-05-17 北京市商汤科技开发有限公司 用于多类别物体检测的方法和系统

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
Moein Owhadi-Kareshk.Representation Learning by Denoising Autoencoders for Clustering-based Classification.2015 5th International Conference on Computer and Knowledge Engineering.2015,第228-232页. *
Representation Learning by Denoising Autoencoders for Clustering-based Classification;Moein Owhadi-Kareshk;2015 5th International Conference on Computer and Knowledge Engineering;第228-232页 *

Also Published As

Publication number Publication date
US11531900B2 (en) 2022-12-20
EP3688678A1 (en) 2020-08-05
CN111542843A (zh) 2020-08-14
CN111226236A (zh) 2020-06-02
US20220335305A1 (en) 2022-10-20
US11354578B2 (en) 2022-06-07
WO2019067236A1 (en) 2019-04-04
US20190095798A1 (en) 2019-03-28
EP3688676A1 (en) 2020-08-05
US11410050B2 (en) 2022-08-09
US20200210842A1 (en) 2020-07-02
US11074506B2 (en) 2021-07-27
US20200285939A1 (en) 2020-09-10
WO2019067248A1 (en) 2019-04-04
US11461661B2 (en) 2022-10-04
US10679129B2 (en) 2020-06-09
EP3688676A4 (en) 2021-06-23
EP3688678A4 (en) 2021-07-28
US20200265320A1 (en) 2020-08-20
WO2019067281A1 (en) 2019-04-04
US20220383131A1 (en) 2022-12-01
CN111226232A (zh) 2020-06-02
EP3688677A4 (en) 2021-08-18
US11074505B2 (en) 2021-07-27
EP3688677A1 (en) 2020-08-05
US11687788B2 (en) 2023-06-27
US20200279165A1 (en) 2020-09-03
US20230289611A1 (en) 2023-09-14
US20200285948A1 (en) 2020-09-10
US20200320371A1 (en) 2020-10-08
US20200279188A1 (en) 2020-09-03

Similar Documents

Publication Publication Date Title
CN111226232B (zh) 混合生成器模型
US11270188B2 (en) Joint optimization of ensembles in deep learning
US11676026B2 (en) Using back propagation computation as data
CN110914839B (zh) 错误去相关的选择性训练
WO2019067831A1 (en) MULTI-OBJECTIVE DEEP LEARNING GENERATORS
US20200410090A1 (en) Robust von neumann ensembles for deep learning
US11195097B2 (en) Building ensembles for deep learning by parallel data splitting
Suliman et al. A review on back-propagation neural networks in the application of remote sensing image classification
CN116635866A (zh) 用于挖掘少数类数据样本以训练神经网络的方法和系统
Sarangi et al. A hybrid differential evolution and back-propagation algorithm for feedforward neural network training
US11010670B2 (en) Building a deep neural network with diverse strata
US10922587B2 (en) Analyzing and correcting vulnerabilities in neural networks
US11222288B2 (en) Building deep learning ensembles with diverse targets
US11501164B2 (en) Companion analysis network in deep learning
Salimi et al. Extended mixture of MLP experts by hybrid of conjugate gradient method and modified cuckoo search
Lari et al. Training artificial neural network by krill-herd algorithm
KR102090109B1 (ko) 학습 및 추론 장치 및 그 방법
US20230289434A1 (en) Diversity for detection and correction of adversarial attacks
Turchenko et al. Parallel batch pattern training algorithm for deep neural network
Gharehchopog et al. Approach of software cost estimation with hybrid of imperialist competitive and artificial neural network algorithms
Rajesh Survey of Software Quality Project Management through Genetic Algorithm with Backtracking Algorithm
Singh Dynamic successive feed-forward neural network for learning fuzzy decision tree
Korytkowski et al. Software Framework for Modular Machine Learning Systems
K Abbo Improving the Learning Rate of the Back Propagation Algorithm by Aitkin Process

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant