CN109983481A - 用于从采样服务器中采样的系统、方法和装置 - Google Patents

用于从采样服务器中采样的系统、方法和装置 Download PDF

Info

Publication number
CN109983481A
CN109983481A CN201780071934.6A CN201780071934A CN109983481A CN 109983481 A CN109983481 A CN 109983481A CN 201780071934 A CN201780071934 A CN 201780071934A CN 109983481 A CN109983481 A CN 109983481A
Authority
CN
China
Prior art keywords
processing unit
digital processing
machine
sample
kernel
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN201780071934.6A
Other languages
English (en)
Other versions
CN109983481B (zh
Inventor
詹森·T·罗尔弗
威廉·G·麦克雷迪
马尼·兰杰巴尔
梅萨姆·穆罕默迪·内维斯
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
D Wave Systems Inc
Original Assignee
D Wave Systems Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by D Wave Systems Inc filed Critical D Wave Systems Inc
Publication of CN109983481A publication Critical patent/CN109983481A/zh
Application granted granted Critical
Publication of CN109983481B publication Critical patent/CN109983481B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N20/00—Machine learning
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F9/00—Arrangements for program control, e.g. control units
    • G06F9/06—Arrangements for program control, e.g. control units using stored programs, i.e. using an internal store of processing equipment to receive or retain programs
    • G06F9/30—Arrangements for executing machine instructions, e.g. instruction decode
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N10/00—Quantum computing, i.e. information processing based on quantum-mechanical phenomena
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F15/00—Digital computers in general; Data processing equipment in general
    • G06F15/16—Combinations of two or more digital computers each having at least an arithmetic unit, a program unit and a register, e.g. for a simultaneous processing of several programs
    • G06F15/163—Interprocessor communication
    • G06F15/173—Interprocessor communication using an interconnection network, e.g. matrix, shuffle, pyramid, star, snowflake
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/044—Recurrent networks, e.g. Hopfield networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/04—Architecture, e.g. interconnection topology
    • G06N3/047—Probabilistic or stochastic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/08—Computing arrangements based on specific mathematical models using chaos models or non-linear system models
    • H—ELECTRICITY
    • H04—ELECTRIC COMMUNICATION TECHNIQUE
    • H04L—TRANSMISSION OF DIGITAL INFORMATION, e.g. TELEGRAPHIC COMMUNICATION
    • H04L67/00—Network arrangements or protocols for supporting network services or applications
    • H04L67/01—Protocols
    • H04L67/10—Protocols in which an application is distributed across nodes in the network

Abstract

本发明公开了一种数字处理器，所述数字处理器并行于采样服务器运行机器学习算法。在执行所述机器学习算法期间，例如对于给定问题，所述采样服务器可以连续地或间歇地为所述机器学习算法抽取样本。所述采样服务器可以并行(例如，并发、重叠、同时)于量子处理器运行，以从所述量子处理器中抽取样本。

Description

用于从采样服务器中采样的系统、方法和装置
技术领域
本公开整体涉及采用采样服务器的机器学习系统。
背景技术
机器学习
机器学习涉及可以从数据中学习并基于数据进行预测的方法和电路。与遵循静态程序指令的方法或电路相反，机器学习方法和电路可以包括从示例输入(诸如训练集)导出模型，然后进行数据驱动的预测。
机器学习与优化相关。一些问题可以用最小化训练集上的损失函数来表达，其中损失函数描述了被训练的模型的预测与可观察数据之间的差异。
机器学习任务可以包括无监督学习、监督学习和强化学习。机器学习的方法包括但不限于决策树、线性和二次分类器、案例推理、贝叶斯统计和人工神经网络。
机器学习可用于认为明确方法不可行的情况。示例应用领域包括光学字符辨识、搜索引擎优化和计算机视觉。
量子处理器
量子处理器是一种计算设备，可以利用非量子设备无法获得的量子物理现象(诸如叠加、纠缠和量子隧穿)。量子处理器可以采用超导量子处理器的形式。超导量子处理器可以包括多个量子位以及相关联的局部偏置设备，例如两个或更多个超导量子位。量子位的一个示例是通量量子位。超导量子处理器还可以采用提供量子位之间的通信耦合的耦合设备(即，“耦合器”)。可与本发明系统和设备结合使用的示例性量子处理器的更多细节和实施方案在例如美国专利7,533,068、8,008,942、8,195,596、8,190,548和8,421,053中有所描述。
绝热量子计算
绝热量子计算通常涉及通过逐渐改变哈密顿量来将系统从已知的初始哈密顿量(哈密顿量是一个运算符，其特征值是系统的允许能量)演变为最终的哈密顿量。绝热演化的一个简单例子是初始哈密顿量与最终哈密顿量之间的线性插值。给出的示例是：
He＝(1-s)Hi+sHf
其中Hi是初始哈密顿量，Hf是最终哈密顿量，He是演化或瞬时哈密顿量，s是控制演化速率(即，哈密顿量变化的速率)的演化系数。
随着系统的演化，演化系数s从0变为1，使得在开始时(即，s＝0)，演化哈密顿量He等于初始哈密顿量Hi，并且在结束时(即，s＝1)，演化哈密顿量He等于最终哈密顿函数Hf。在演化开始之前，系统通常在初始哈密顿量Hi的基态中初始化，并且目标是以此方式演化系统，使得系统在演化结束时最终处于最终哈密顿量Hf的基态。如果演化太快，则系统可以转变到更高的能量状态，诸如第一激发态。如本文所用，“绝热”演化是一种满足绝热条件的演化：
其中是s的时间导数，g(s)是系统的基态与第一激发态之间的能量差(本文也称为“间隙尺寸”)作为s的函数，并且δ是远小于1的系数。
如果演化足够慢，以至于系统总是处于演化哈密顿量的瞬时基态，则避免了在抗交叉处(当间隙尺寸最小时)的转变。除了上述线性演化之外，其他演化时间表也是可能的，包括非线性演化、参数演化等。有关绝热量子计算系统、方法和装置的更多细节描述于例如美国专利7,135,701和7,418,283中。
量子退火
量子退火是可用于找到系统的低能量状态(通常优选地为基态)的计算方法。在概念上与经典模拟退火类似，该方法依赖于自然系统趋向较低能量状态的基本原理，因为较低能量状态更稳定。虽然经典退火使用经典热波动将系统引导到低能量状态并且理想地将其全局能量最小化，但量子退火可使用量子效应(诸如量子隧穿)作为无序源，从而比经典退火更准确和/或更快速地达到能量最小值。在量子退火中，热效应和其他噪声可能存在于退火中。最终低能量状态可能不是总体能量最小值。绝热量子计算可被认为是量子退火的特例，此时系统在理想情况下从其基态开始并且在整个绝热演化中保持处于其基态。因此，本领域技术人员将认识到，量子退火系统和方法一般可在绝热量子计算机上实现。在本说明书和所附权利要求书通篇中，除非上下文另有要求，否则对量子退火的任何提及旨在涵盖绝热量子计算。
量子退火在退火过程期间使用量子力学作为无序源。目标函数，诸如优化问题，在哈密顿量HP中编码，并且该算法通过添加不与HP通信的无序哈密顿量HD来引入量子效应。一个示例案例是：
HE∝A(t)HD+B(t)HP，
其中A(t)和B(t)是时间相关的包络函数。例如，A(t)可以在演化期间从大值变为基本上为零，并且HE可以被认为是类似于在上面的绝热量子计算的上下文中描述的HE的演化哈密顿量。通过去除HD(即，通过还原A(t))缓慢去除无序。
因此，量子退火类似于绝热量子计算，因为系统以初始哈密顿量开始，并通过演化哈密顿量演变为最终的“问题”哈密顿量HP，它的基态编码了该问题的解。如果演化足够缓慢，则系统可以在全局最小值(即，精确解)中，或者在能量上与精确解接近的局部最小值。可以经由残余能量(使用目标函数的精确解的差异)与演化时间来评估计算的性能。计算时间是产生低于某个可接受阈值的残余能量所需的时间。在量子退火中，HP可以编码优化的问题，因此HP可以是编码该解的量子位子空间中的对角线，但系统不一定始终保持在基态。HP的能量格局可能是精心设计的，因此其全局最小值是待解决的问题的答案，而低洼的局部最小值是良好的近似。
量子退火中无序哈密顿量HD的逐渐减少(即，减少A(t))可遵循称为退火计划表的定义的时间表。与绝热量子计算不同，绝热量子计算系统在整个演化过程中开始并保持其基态，在量子退火中，该系统可能不会在整个退火计划表中保持其基态。因此，量子退火可以实现为启发式技术，其中能量接近基态能量的低能量状态可以为该问题提供近似解。
相关领域的前述示例和与其相关的限制旨在为说明性的，并非是排他性的。在阅读本说明书和研究附图之后，相关领域的其他限制对于本领域技术人员将变得显而易见。
发明内容
需要能够处理具有比模拟处理器的工作图更大(和/或至少不完全由该工作图提供)的大小和/或连接性的至少一些问题。描述了计算系统和方法，这些计算系统和方法至少在一些具体实施中允许计算具有不适合于模拟处理器的工作图的表示的至少一些问题图(例如，因为问题图需要比处理器提供的更多的计算设备和/或更多/其他的耦合器)。
用于机器学习的计算系统可以概括为包括至少一个数字处理器内核；以及至少一个非暂态处理器可读介质，该非暂态处理器可读介质可通信地耦合到至少一个数字处理器内核，并且存储处理器可执行指令或数据中的至少一个，当处理器可执行指令或数据在由至少一个数字处理器内核执行时，使得至少一个数字处理器内核实现采样服务器：接收用于机器学习过程的迭代的初始参数集，该机器学习过程在至少一个数字处理器内核上并行于采样服务器执行，该至少一个数字处理器内核与在其上实现采样服务器的至少一个数字处理器内核分开；并行于执行机器学习过程，临时基于初始参数集生成第一样本集；以及提供由采样服务器生成的第一样本集，由至少一个数字处理器内核实现，用于机器学习过程的进一步迭代。采样服务器与机器学习过程并发或甚至同时执行，从而至少与其一部分重叠。
实现采样服务器的至少一个数字处理器内核可以提供第一函数集以及由采样服务器生成的第一采样集到执行机器学习算法的一个或多个其他处理器内核，例如，在给定的问题上。第一函数集可以包括一阶和二阶统计。
实现采样服务器的至少一个数字处理器内核可以从玻尔兹曼分布中抽取样本，例如从奇美拉结构化的玻尔兹曼分布中抽取样本。实现采样服务器的至少一个数字处理器内核可以经由单温度吉布斯采样、模拟回火、并行回火、群体退火和退火重要性采样的马尔可夫链中的至少一个来抽取样本。
实现采样服务器的至少一个数字处理器内核可以从采样服务器中提供当前参数集；并从至少一个量子处理器处接收量子处理器生成的样本集。实现采样服务器的至少一个数字处理器内核可以对从量子处理器处接收的样本执行后处理。
采样服务器可以例如将样本、样本的函数和对日志分区函数的近似发送到至少一个单独的数字处理器内核，该机器学习过程在数字处理器内核上执行。
采样服务器可以例如迭代地接收机器学习过程的多次迭代中的每一次的附加参数集，该机器学习过程在至少一个数字处理器内核上并行于采样服务器执行，该至少一个数字处理器内核与在其上实现采样服务器的至少一个数字处理器内核分开的；并行于执行机器学习过程，临时基于附加参数集中的相应一个参数集迭代地生成附加的样本集；以及迭代地提供由采样服务器生成的附加样本集，由至少一个数字处理器内核实现，用于机器学习过程的迭代。
用于机器学习的计算系统可以概括为还包括执行机器学习过程的至少一个数字处理器内核，例如关于给定问题。机器学习过程可以例如最大化生成模型的对数似然。
在其上实现采样服务器的至少一个数字处理器内核可以是具有存储器空间的图形处理器单元的第一处理器内核，并且执行机器学习过程的单独的至少一个数字处理器内核可以是图形处理器单元的第二处理器内核，并与图形处理器单元的第一处理器内核共享存储器空间。在其上实现采样服务器的至少一个数字处理器内核可以是第一图形处理器单元的处理器内核，并且执行机器学习过程的单独的至少一个数字处理器内核可以是第二图形处理器单元的处理器内核，第二图形处理器单元与第一图形处理器单元分开并且不同。第一图形处理单元可以是第一计算机的一部分，并且第二图形处理单元可以是第二计算机的一部分，第二计算机与第一计算机分开并且不同。在其上实现采样服务器的至少一个数字处理器内核可以包括多个处理器的多个数字处理器内核，该处理器内核彼此独立且不同，并且多个处理器可以是多个计算机的部件，来自机器集群的计算机可以经由网络基础结构通信地耦合。
用于机器学习的计算系统可以概括为还包括一个或多个量子处理器，其至少部分地基于由采样服务器提供的当前参数集从分布中抽取样本。量子处理器可以在抽取样本之前执行链嵌入。
用于机器学习的计算系统可以包括第一数字处理器内核或内核集(即，执行存储在非暂态计算机或处理器可读介质上的软件或固件指令的硬件处理器电路)和在第二数字处理器内核或内核集上实现的采样服务器(即，执行存储在非暂态计算机或处理器可读介质上的软件或固件指令的硬件处理器电路)。执行机器学习算法的数字处理器内核最大化了生成模型的对数似然。采样服务器通信地耦合到执行机器学习算法的第一数字处理器内核，并从第一数字处理器内核处接收初始参数集，从基于该初始参数集的分布中抽取样本，并将样本和样本的函数发送到第一数字处理器内核。样本的函数可以是一阶和二阶统计。采样服务器可以从玻尔兹曼分布中抽取样本。玻尔兹曼分布可以是奇美拉结构。采样服务器可以经由单温度吉布斯采样、模拟回火、并行回火、群体退火、退火重要性采样的马尔可夫链中的任一个或多个来抽取样本。计算系统还可以包括与采样服务器通信耦合的量子处理器。量子处理器周期性地从采样服务器处接收当前参数集，从分布中抽取样本并将样本发送到采样服务器，并且在将样本发送到第一数字处理器内核或内核集之前，采样服务器对从量子处理器处接收的样本执行后处理。量子处理器可以在抽取样本之前执行链嵌入。采样服务器可以与GPU上的数字处理器共享存储器空间。采样服务器可以在不同的GPU上。采样服务器可以位于不同的机器上。采样服务器可以位于网络上的机器集群上。
一种用于机器学习的方法，其采用第一数字处理器内核或内核集以及在第二数字处理器内核或内核集上实现的采样服务器，包括：第一数字处理器内核或内核集(即，硬件处理器电路执行存储在非暂态计算机或处理器可读介质上的软件或固件指令)初始化初始参数集；第一数字处理器内核将初始参数集发送到采样服务器；第一数字处理器并行于从基于初始参数集和计算样本的函数的分布中抽取样本的采样服务器最大化生成模型的对数似然；采样服务器将样本发送到第一数字处理器内核；并且第一数字处理器内核使用样本通过最大化生成模型的对数似然来学习分布。样本的函数可以是一阶和二阶统计。该分布可以是玻尔兹曼分布。采样服务器可以经由单温度吉布斯采样、模拟回火、并行回火、群体退火、退火重要性采样的马尔可夫链中的任一个或多个来抽取样本。权利要求的方法还可以包括与采样服务器通信耦合的量子处理器。数字处理器将与待学习的分布对应的初始参数集发送到采样服务器，采样服务器使用初始参数从分布中抽取第一样本集，从而生成更新参数，采样服务器将第一样本集和样本的函数发送到第一数字处理器内核，周期性地或间歇地，采样服务器将更新的参数发送到量子处理器，量子处理器使用量子硬件抽取对应于更新参数的第二样本集，量子处理器将第二样本集返回到采样服务器，采样服务器使用第二样本集更新第一样本集，以产生对应于更新参数和第二样本集的第三样本集，采样服务器将第三样本集返回到第一数字处理器内核或内核集，并且第一数字处理器内核使用第三样本集来最大化生成模型的对数似然。样本的函数可以是一阶和二阶统计。该方法还可以包括在抽取样本之前执行链嵌入的量子处理器。
附图说明
在附图中，相同的附图标号标识类似的元件或动作。附图中元件的尺寸和相对位置并不一定是按比例绘制的。例如，不同元件的形状和角度并未按比例绘出，其中一些元件有意地增大和定位，用以增强附图的可读性。另外，所绘制的元件的具体形状不是为了传达关于特定元件的实际形状的信息，而是仅为了易于识别附图而选择。
图1是根据本发明系统、设备、方法和制品的示出包括数字处理器和模拟处理器的示例性混合计算机的示意图。
图2是根据本系统、设备、制品和方法的示意图，其示出适合于实现图1的模拟计算机的示例性拓扑的一部分，例如经由量子退火。
图3A示出了适用于实现图2的拓扑的可控ZZ耦合器的示意图。
图3B是包括两个超导量子位以及ZX耦合器和XZ耦合器两者的系统的实施方案的示意图，每个耦合器可操作以在两个量子位之间可通信地耦合信息，适用于实现图2的拓扑。
图4是根据本发明系统、设备、制品和方法的流程图，其示出了通过从采样服务器中采样来执行机器学习的方法
图5A是根据本发明系统、方法、装置的示意图，其示出了示例性混合系统，包括数字处理器、采样服务器和量子处理器以及它们之间的通信。
图5B是根据本发明系统、方法、装置的示意图，其示出了示例性混合系统，包括数字处理器、实现为处理器集群的采样服务器和量子处理器以及它们之间的通信。
图6是示出用于通过从采样服务器和量子处理器中采样来执行机器学习的方法的流程图。
具体实施方式
在以下描述中，描述某些特定细节是为了提供对各种实施方案的全面理解。然而，相关领域的技术人员将会认识到，可以在没有一个或多个这些特定细节的情况下，或者在具有其他的方法、部件、材料等的情况下实践具体实施。在其他情况下，为了避免不必要地使具体实施的描述变得不明确，没有详细示出或者描述与计算机系统、服务器计算机和/或通信网络和相关硬件组件或电路相关联的众所周知的结构。
除非上下文另外要求，否则在整个说明书和所附权利要求书中，字词“包括/包含(comprising)”与“包括/包含(including)”是同义的，并且包括端值在内或者是开放式的(即，并不排除附加的、未记载的元素或方法动作)。
贯穿本说明书对“一个具体实施”或“具体实施”的引用意味着结合该具体实施描述的特定特征、结构或特性包括在至少一个具体实施中。因此，贯穿本说明书不同位置中出现的短语“在一个具体实施中”或“在具体实施中”并非全部代表相同的具体实施。此外，这些特定特征、结构或特性能够以任何合适的方式结合在一个或多个具体实施中。
除非另外明确地指明，否则如本说明书和所附权利要求书中所使用，单数形式“一个(a/an)”和“该/所述(the)”包括多个指代物。还应当指出的是，除非另外明确地指明，否则术语“或”通常以它的包括“和/或”的含义来使用。
本文提供的标题和说明书摘要仅为了方便的目的，并不说明具体实施的范围或意义。
图1示出了混合计算系统100，其包括耦合到模拟计算机104的数字计算机102。在一些具体实施中，模拟计算机104是量子计算机。示例性数字计算机102包括可用于执行经典数字处理任务的数字处理器106。
数字计算机102可包括具有一个或多个核的至少一个数字处理器106、至少一个系统存储器108、以及至少一个系统总线110，这些系统总线将各种系统部件(包括系统存储器108)耦合到数字处理器106。
数字处理器106可以是形成逻辑处理单元的任何电路，诸如一个或多个中央处理单元(“CPU”)、图形处0.理单元(“GPU”)、数字信号处理器(“DSP”)、专用集成电路(“ASIC”)、可编程门阵列(“FPGA”)、可编程逻辑控制器(PLC)等。
数字计算机102可包括用户输入/输出子系统112。在一些具体实施中，用户输入/输出子系统包括一个或多个用户输入/输出部件，诸如显示器114、鼠标116和/或键盘118。
系统总线110可采用任何已知的总线结构或架构，包括具有存储器控制器的存储器总线、外围总线以及本地总线。系统存储器108可包括非易失性存储器，诸如只读存储器(“ROM”)、静态随机存取存储器(“SRAM”)、与非型闪存；以及易失性存储器，诸如随机存取存储器(“RAM”)(未示出)。
数字计算机102还可包括其他非暂态计算机可读或处理器可读存储介质或非易失性存储器120。非易失性存储器120可呈现多种形式，包括：旋转介质，例如用于读取和写入磁性硬盘的硬盘驱动器(HDD)和/或用于读取和写入可移动光盘的光盘驱动器；并且/或者非旋转介质，例如用于读取和写入固态存储器的固态驱动器(SSD)。光盘可以是CD-ROM或DVD，而磁盘可以是磁软盘或软盘或一个或多个磁盘盘片。非易失性存储器120可经由系统总线110与数字处理器进行通信，并且可包括耦合到系统总线110的适当接口或控制器122。非易失性存储器120可充当处理器可读指令或计算机可读指令、数据结构或数字计算机102的其他数据(有时称为程序模块)的长期存储器。
虽然数字计算机102已被描述为采用硬盘、光盘和/或磁盘，但相关领域的技术人员将认识到，可采用其他类型的非易失性计算机可读介质，诸如磁带盒、闪存存储器卡、闪存、ROM、智能卡等。相关领域的技术人员将认识到，一些计算机架构采用易失性存储器和非易失性存储器。例如，易失性存储器中的数据可被高速缓存到非易失性存储器或采用集成电路提供非易失性存储器的固态驱动器中。
各种处理器可读指令或计算机可读指令、数据结构或其他数据可存储在系统存储器108中。例如，系统存储器108可存储用于与远程客户端通信并且调度资源(包括数字计算机102和模拟计算机104上的资源)的使用的指令。
在一些具体实施中，系统存储器108可存储处理器可读计算指令或计算机可读计算指令，以便对模拟计算机104执行预处理、共处理和后处理。系统存储器108可存储模拟计算机接口指令集以与模拟计算机104交互。
模拟计算机104可包括模拟处理器，诸如量子处理器124。模拟计算机104可以在隔离环境中提供，例如，在隔离环境中，屏蔽量子计算机的内部元件免受热、磁场和其他外部噪声(未示出)的影响，并且/或者将模拟处理器冷却到模拟处理器的电路变为超导的温度(即，临界温度)或低于该温度。相比之下，数字计算机102通常将在不发生超导性的更高温度(例如，室温)下操作和/或可采用即使在临界温度或低于临界温度也不超导的材料。
图2示出了根据当前描述的系统、设备、制品和方法的量子处理器的示例性拓扑200。拓扑200可以用于实现图1的量子处理器124，然而其他拓扑也可以用于本公开的系统和方法。拓扑200包括2×2个单元的网格，诸如单元202a、202b、202c和202d(统称为202)，每个单元由8个量子位组成，诸如量子位204(图2中仅示出一个)。
在每个单元202内，存在八个量子位204，每个单元202中的量子位204布置成四行(在图纸中水平延伸)和四列(在图纸中垂直延伸)。来自行和列的成对的量子位204可以通过对应耦合器诸如耦合器206彼此通信地耦合(由粗体十字形图示，在图2中仅示出一个)。相应的耦合器206被定位并可操作以将每个单元中的每列中的量子位(图纸中的垂直取向的量子位)通信地耦合到同一单元中的每行(图纸中的水平取向的量子位)中的量子位。另外，相应的耦合器，诸如耦合器208(图2中仅示出一个)，被定位并可操作以将每个单元中的每列(图纸中垂直取向的量子位)中的量子位通信地耦合到与这些列的取向相同的方向上的最近的相邻单元中的每列中的对应量子位(图纸中垂直取向的量子位)。相似地，相应的耦合器，诸如耦合器210(图2中仅示出一个)，被定位并可操作以将每个单元中的每行(图纸中水平取向的量子位)中的量子位通信地耦合到与这些行的取向相同的方向上的每个最近的相邻单元中的每行中的对应量子位(图纸中水平取向的量子位)。虽然耦合器206由粗体十字形示出，但是这并非旨在进行限制，并且耦合器206可以具有各种其他形状中的任一种。
图3A示出了包括可控ZZ耦合器301的系统300a的示例性具体实施的示意图。可控ZZ耦合器301包括由约瑟夫逊结303中断的超导材料环302，并用于耦合第一量子位310和第二量子位320。第一量子位310由复合约瑟夫逊结(“CJJ”)312中断的超导材料环(或“量子位环”)311组成，并且通过可控ZZ耦合器301与第一量子位310之间的通量303的交换，耦合到可控ZZ耦合器301。第二量子位320由CJJ 322中断的超导材料环(或“量子位环”)321组成，并且通过可控ZZ耦合器301与第二量子位320之间的通量304的交换，耦合到可控ZZ耦合器301。超导材料环302由流过磁通量电感器306的电流产生的通量305穿过。根据当前描述的系统、设备、制品和方法，可控ZZ耦合器301可以用在拓扑200中，以提供量子位之间的通信耦合，因此可以用在量子处理器中。
对于一些应用，对图3A中所示的ZZ耦合器设计的变型和改善在美国专利No.7,898,282和美国专利No.7,800,395中呈现。
图3B是系统300b的示例性具体实施的示意图，该系统包括两个超导量子位331、332以及ZX耦合器340和XZ耦合器350两者，它们中的每一个被配置为在量子位331与332之间可通信地耦合信息。量子位331和332中的每一个分别包括量子位环333、334，其由闭合的超导电流路径形成，该电流路径分别被CJJ 335、336中断。
ZX耦合器340包括闭合的超导电流路径341，其电感耦合到量子位331的量子位环333和量子位332的CJJ 336两者。因此，ZX耦合器340通过将量子位331的量子位环333中的持续电流电感耦合到量子位332的CJJ 336中，以提供量子位331中的Z自由度与量子位332中的X自由度之间的耦合。
就ZX耦合器340而言，通过两个调谐元件实现可调谐性：闭合的超导电流路径341被至少一个约瑟夫逊结342中断，并且闭合的超导电流路径341被电感耦合到编程接口343。
相似地，XZ耦合器350包括闭合的超导电流路径351，其电感耦合到量子位332的量子位环334和量子位331的CJJ 335。因此，XZ耦合器350通过将量子位332的量子位环334中的持续电流电感耦合到量子位331的CJJ 335中，以提供量子位331中的X自由度与量子位332中的Z自由度之间的耦合。
XZ耦合器350和ZX耦合器340两者也可以通过两个调谐元件的组合来调谐：闭合的超导电流路径351被至少一个约瑟夫逊结352中断并且电感耦合到编程接口353，而闭合的超导电流路径341被至少一个约瑟夫逊结342中断并且电感耦合到编程接口343。
根据当前描述的系统、设备、制品和方法，系统300b可以用在拓扑200中，以提供量子位之间的通信耦合，因此可以用在量子处理器中。
本公开描述了通过从采样服务器中采样来执行机器学习的系统、方法和装置。
许多机器学习算法依赖于来自计算上难以处理的分布的样本。此算法的一个示例是对受限玻尔兹曼机(RBM)的预期负对数似然的梯度下降。其他算法计算预期负对数似然的梯度下降，以训练深度玻尔兹曼机器或深度玻尔兹曼机器网络。对于所有上述算法，良好的样本可以导致成功的学习。
然而，RBM及其子代的采样是#P-hard，并且难以在多项式时间内近似。可以使用启发式近似来取代准确的样本。算法诸如对比发散(CD)和持久对比发散(PCD)利用启发式近似。CD和PCD是基于单温度吉布斯采样的单马尔可夫链。CD和PCD可以运行指定的迭代次数，以获得具有所需精度的样本。其他算法，诸如模拟回火和平行回火(包括群体退火)使用多个温度。所有方法都可以使用多个链。退火重要性采样是另一种近似评估计算难以处理的分布期望的方法。退火重要性采样和使用该方法的应用的描述可以在美国专利申请公开No.2015-0269124中找到。退火重要性采样获得重要性加权样本，但是对于良好建议分布未知的问题可能会遭受大量计算时间。因此，一般需要从计算上难以处理的分布中产生更好样本的系统和方法。
算法诸如CD和PCD将采样操作集成到机器学习算法中，从给定训练数据的潜在变量的近似到后验分布或从最后的马尔可夫链集的末端对马尔可夫链设定种子。申请人认为，在所有这些算法中，采样操作是在与主机学习算法相同的机器上执行。另外，通常实施该采样操作，以免比机器学习算法的其他部件消耗更多的处理能力的能量级。然而，获得准确的样本是资源密集的，并且与机器学习算法的其他计算(例如，计算预期的负对数似然的梯度)相比可以花费指数级的更多时间来产生。
响应于从计算上难以处理的分布中获得准确样本的困难，现代生成学习算法基于定向图形模型并使用先前分布，其中采样在计算上易于构造。此类生成学习算法的一个示例是变分自动编码器。
鉴于难以从计算上难以处理的分布中获得准确的样本，机器学习算法的性能受到产生样本所需的计算时间和资源的限制。
以下系统、方法和装置描述了一种方法，该方法可以通过将采样操作与机器学习算法的其他计算分离来显著改善机器学习算法的性能，并因此改善机器学习系统的性能。
机器学习算法需要样本的分布在训练过程中缓慢变化。因此，来自迭代n处的分布的样本是来自迭代n+1处的分布的样本的良好近似。因此，在先前迭代中完成的工作可用于从当前迭代中引导采样。PCD也利用了这一现象。
为了在迭代n期间做尽可能多的工作以准备迭代n+1，可以将采样操作卸载到不同的服务器上。不同的服务器或采样服务器可以在后台进行采样工作，而机器学习算法执行其他操作，例如计算梯度下降。采样服务器可以将其所有资源用于提高样本的质量，而不会影响机器学习算法的运行时间。采样服务器可以在机器集群上运行，在这种情况下，采样工作可以在机器集群中的机器数量上并行化。
在一个具体实施中，采样服务器从机器学习算法处接收玻尔兹曼分布的缓慢变化的参数(h,j)的流，并从当前分布返回样本的函数。样本的函数的示例是一阶和二阶统计(即，平均自旋和自旋-自旋相关性)。然后，机器学习算法可以基于玻尔兹曼机器最大化生成模型的对数似然。
在接收参数(h,j)时，采样服务器使用参数(h,j)来构建RBM，使用吉布斯采样、并行回火、群体退火或其他算法从该RBM中生成样本，其中链从最后一次调出到采样服务器来设定种子。只要参数(h,j)在对采样服务器的调用之间变化缓慢，该种子就可以产生有用的样本。对采样服务器的连续调出伴随着最新的参数集(h’,j’)，以便采样服务器在每次调用时基于所接收的参数(h’,j’)构造新的RBM。
除了样本和统计之外，采样服务器还可以返回机器学习算法的其他量度。可以由采样服务器计算的量度的示例是：对数分区函数的近似、当前分布的自相关时间、采样难度的其他量度。可以请求并且不频繁地返回这些附加量度，例如，每3000个样本请求一次。
就玻尔兹曼分布而言，该分布可以是奇美拉结构、全二分或完全连接。在某些情况下，例如可以使用低树宽度专用算法的图形。
采样服务器可以作为机器学习算法在样本GPU或CPU上运行，在这种情况下，在采样服务器与机器学习算法之间共享存储器。在不同的具体实施中，采样服务器可以运行与机器学习算法相同的机器，但是在不同的GPU或CPU上运行。
另选地，采样服务器可以在与机器学习算法不同的机器上运行，并且在网络上与机器学习算法通信。在后一种情况下，样本请求以及参数和样本的传输在网络上发生。采样服务器可以在网络上遍布在机器集群上。
如果采样服务器与机器学习算法不在同一GPU或CPU上，则采样服务器可以使用样本请求之间的可用时间来改善当前参数集下的样本质量。当机器学习算法使用新的、稍微不同的参数集请求采样时，采样服务器可以使用这些高质量样本进行种子采样。
采样服务器可以与变分自动编码器一起使用，以在其先前的玻尔兹曼机中生成样本。采样服务器的使用将有助于完全连接的玻尔兹曼机的使用，鉴于采样操作可以在玻尔兹曼机中的多个单元上并行化，因此难以使用传统方法(诸如TensorFlow)有效地采样。变分自动编码器的描述可以在国际专利申请No.PCT/US2016/047627中找到。
图4示出了根据本发明系统、设备、制品和方法通过从采样服务器中抽取样本执行机器学习的方法400。一个或多个基于处理器的设备执行方法400可以根据本发明系统、设备、制品和方法进行。与本文中的其他方法一样，方法400可以由一个或多个处理器(即，硬件电路)执行的一系列处理器或处理器集可读指令来实现。例如，方法400可以在单个处理器(例如，图形处理器单元或GPU)的两个或更多个内核上执行，每个内核与其他处理器内核分开并且不同。方法400可以在两个或更多个处理器单元的两个或更多个内核上执行，每个处理器单元与其他处理器单元分开并且不同。方法400可以在两个或更多个处理器单元的两个或更多个内核上执行，这些处理器单元属于两个或更多个计算机或机器，每个计算机或机器与其他计算机或机器分开并且不同。计算机或机器可以例如形成一个或多个集群，通过网络基础结构(例如，具有各种分组交换机和/或路由器的分组交换网络)通信地耦合。
方法400从402开始，例如响应于从另一个例程的调出或调用而开始。
在404处，第一数字处理器内核或内核集通过初始化待学习的分布的参数来开始运行机器学习算法。分布的一个示例是具有参数(h,j)的玻尔兹曼分布。
方法400并行地或并发地或甚至同时地执行动作406和408。
在406处，执行机器学习算法的第一数字处理器内核或内核集使用分布的参数运行机器学习算法，以利用从采样服务器中接收的样本来学习所述分布。例如，第一数字处理器内核或内核集可以使用样本来计算基于玻尔兹曼机的生成模型的对数似然的梯度，目的是最大化生成模型的对数似然。
在408处，执行机器学习算法的第一数字处理器内核或内核集将当前参数集发送到采样服务器。在第一次迭代中，第一数字处理器内核或内核集发送在404处初始化的参数。在逐次迭代中，第一数字处理器内核或内核集向采样服务器发送来自在406处运行的机器学习算法的最新迭代的参数集。
在410处，实现采样服务器的第二数字处理器内核或内核集使用在408处接收的参数来生成将在406处运行的机器学习算法中使用的样本。采样服务器可以使用所接收的参数构建RBM，样本从该RMB中抽取。采样服务器可以使用诸如吉布斯采样、并行回火或其他算法的技术来抽取样本。
在412处，采样服务器将样本提供到执行机器学习算法的第一数字处理器内核或内核集。如前所述，406处的第一数字处理器内核或内核集使用样本来运行机器学习算法。在采样服务器在与机器学习不同的机器上实现的情况下，这些样本在通信网络(例如分组交换机和路由器的分组交换网络)上返回。
在414处，执行机器学习算法的第一数字处理器内核或内核集确定是否需要更多样本。抽取更多样本的决定可以基于多次迭代的完成或基于计算的性能因素。在后一种情况下，性能因素缺乏改善或开始降低，指示中断采样操作。
如果决定抽取更多样本，则控制转到408，并且执行机器学习算法的第一数字处理器内核或内核集将更新的参数集发送到采样服务器。否则，控制转到406，并且第一数字处理器内核或内核集运行机器学习算法。
在418处，执行机器学习算法的第一数字处理器内核或内核集测试以检查是否已满足停止标准。停止标准可以例如与迭代次数或逐次迭代之间的性能标准的测量相关。例如，可以经由机器学习算法的迭代的输出与训练数据集之间的差异来评估性能标准。在后一种情况下，性能标准开始降低或者在逐次迭代之间缺乏改善，指示机器学习算法应该停止并且控制转到420。否则，控制转到406，并且机器学习算法继续运行。
在420处，执行机器学习算法的第一数字处理器内核或内核集返回机器学习算法的结果。
在422处，方法400终止，例如直到再次被调用。
采样服务器可以与量子处理器结合使用，其中采样服务器用作机器学习算法与量子处理器之间的接口。
图5A示出了混合系统500a，其包括数字处理器内核502、采样服务器计算机504和量子处理器506。
一个或多个处理器内核502运行机器学习算法，而由不同处理器内核或内核集实现的采样服务器计算机504提供如上参考图4的方法400所述的样本。采样服务器计算机504可以在与机器学习算法相同的GPU或CPU上实现，例如在单独的内核或单独的内核集上。另选地，采样服务器计算机504可以在执行机器学习算法的同一机器或机器组上的单独GPU/CPU或单独GPU/CPU组上实现。附加地或另选地，采样服务器计算机504可以在执行机器学习算法的机器或机器组的单独机器或单独机器组上实现。实现采样服务器与经由一个或多个网络(例如分组交换网络)执行机器学习算法的数字处理器通信的机器。量子处理器506可以是超导量子处理器，并且可以用图2的拓扑200构造。
在美国专利No.9,218,567和美国专利公开No.US20160042294A1中描述了用于操作量子处理器作为样本发生器的方法。
采样服务器504可以请求来自量子处理器506的样本，并使用此类样本在适当的温度下重新对持久性马尔可夫链设定种子。当从量子处理器506处请求样本时，采样服务器504可以在将参数发送到量子处理器506之前执行参数缩放，以确保由量子处理器506采样的分布对应于期望的逻辑温度。采样服务器504可以选择链强度并对链进行自旋反转变换。
采样服务器504能够以比从机器学习算法处接收参数和样本返回到机器学习算法的速率更慢的速率请求来自量子处理器506的样本，或者对于每个样本集请求样本。
采样服务器504可以确保在发送到机器学习算法之前根据需要对由量子处理器生成的样本进行后处理。采样服务器504可以使用后处理技术诸如MCMC和重要性采样；然而，也可以使用其他后处理算法。用于后处理量子处理器的输出的方法和技术可以在美国专利No.7,307,275和美国专利No.8,244,650中找到。
除了使用来自量子处理器506的直接对应于期望分布的样本重新对其马尔可夫链设定种子之外，采样服务器504能够以不同方式使用由量子处理器506提供的样本。例如，量子处理器506可以用于以间接方式改善样本的质量。例如，量子处理器506可以用于发现分布的能量格局中的新谷，因此改善了数字处理器502用于运行机器学习算法的样本的质量。
混合系统500a中的数字处理器502将参数集(即，玻尔兹曼分布的h、j)发送到采样服务器504(图5A中的箭头508)。采样服务器504可以生成样本并将它们发送到数字处理器(图5A中的箭头510)或者将参数(例如，h、j)发送到量子处理器506(图5A中的箭头512)。量子处理器506生成样本并将它们发送到采样服务器504(图5A中的箭头514)。在从量子处理器506处接收样本时，采样服务器504使用它们的样本以重新对其马尔可夫链设定种子并将更新的样本发送到数字处理器502(图5A中的箭头510)。
图5B示出了混合系统500b，其包括数字处理器502、量子处理器506和采样服务器504，它们实现为在网络518上进行通信耦合的机器集群516a-516d(统称为516)。网络518可以实现为总线网络、环形网络或其他类型的网络结构。虽然在图5B中，采样服务器504被示为实现为四个机器516a-516d的集群，但机器的数量仅用于说明目的，并且机器516的集群可具有更少或更多数量的不同机器。
数字处理器502运行机器学习算法，而采样服务器504提供如上参考图4的方法400和混合系统500a所述的样本。量子处理器506可以是超导量子处理器，并且可以用图2的拓扑200构造。
采样服务器504可以请求来自量子处理器506的样本，并使用此类样本在适当的温度下重新对持久性马尔可夫链设定种子，如上面参考混合系统5001所述。
采样服务器504能够以低于从机器学习算法处接收参数和样本返回到机器学习算法的速率的速率请求来自量子处理器506的样本，或者对于每个样本集请求样本。
采样服务器504可以确保在发送到机器学习算法之前根据需要对由量子处理器生成的样本进行后处理。在一些具体实施中，采样服务器504采用由量子处理器生成的后处理样本来改善采样服务器504的样本生成。
除了使用来自量子处理器506的直接对应于期望分布的样本重新对其马尔可夫链设定种子之外，采样服务器504能够以不同方式使用由量子处理器506提供的样本。例如，量子处理器506可以用于以间接方式改善样本的质量，如上面参考混合系统500a所述。
混合系统500b中的数字处理器502将参数集(即，玻尔兹曼分布的h、j)发送到采样服务器504(图5B中的箭头508)。采样服务器504可以生成样本并将它们发送到数字处理器(图5B中的箭头510)或者将参数(例如，h、j)发送到量子处理器506(图5B中的箭头512)。量子处理器506生成样本并将它们发送到采样服务器504(图5B中的箭头514)。在从量子处理器506处接收样本时，采样服务器504使用它们的样本以重新对其马尔可夫链设定种子并将更新的样本发送到数字处理器502(图5B中的箭头510)。
图6示出了通过从采样服务器和量子处理器中抽取样本来执行机器学习的方法600。可以使用混合系统500a或500b来实现方法600。由一个或多个基于处理器的设备对方法600的执行可以根据本发明系统、设备、制品和方法进行。与本文中的其他方法一样，方法600可以由一个或多个处理器(即，硬件电路)执行的一系列处理器或处理器集可读指令来实现。例如，方法600可以在单个处理器(例如，图形处理器单元或GPU)的两个或更多个内核上执行，每个内核与其他处理器内核分开并且不同。方法600可以在两个或更多个处理器单元的两个或更多个内核上执行，每个处理器单元与其他处理器单元分开并且不同。方法600可以在两个或更多个处理器单元的两个或更多个内核上执行，这些处理器单元属于两个或更多个计算机或机器，每个计算机或机器与其他计算机或机器分开并且不同。计算机或机器可以例如形成一个或多个集群，通过网络基础结构(例如，具有各种分组交换机和/或路由器的分组交换网络)通信地耦合。
方法600从602开始，例如响应于从另一个例程的调出。
在604处，第一数字处理器内核或内核集通过初始化待学习的分布的参数来开始运行机器学习算法，如参考方法400的404所述。
方法600并行地或并发地或甚至同时地执行动作606和608。
在606处，执行机器学习算法的第一数字处理器内核或内核集使用分布的参数运行机器学习算法，以利用从采样服务器中接收的样本来学习所述分布，如参考方法400的406所述。
在608处，执行机器学习算法的第一数字处理器内核或内核集将当前参数集发送到采样服务器，如上文参考方法400的408所述。
在610处，实现采样服务器的第二数字处理器内核或内核集使用在608处接收的参数来生成将在606处运行的机器学习算法中使用的样本，如参考方法400的410所述。
在611处，采样服务器确定是否从量子处理器处请求采样。采样服务器可以基于许多因素确定是否从量子处理器处请求样本，包括量子处理器的可用性或调度能力，最近对量子处理器的采样请求或其他因素。如果采样服务器确定不从量子处理器处请求样本，则控制转到612，否则到613。
在612处，采样服务器将样本返回到执行机器学习算法的第一数字处理器内核或内核集，如参考方法400的412所述。
在614处，执行机器学习算法的第一数字处理器内核或内核集确定是否需要更多样本，如参考方法400的414所述。如果第一数字处理器内核或内核集确定需要更多样本，则控制转到608，否则转到606。
在613处，采样服务器将最新的参数集发送到量子处理器。最新的参数集是最后从数字处理器处接收的参数。在将参数发送到量子处理器之前，采样服务器可以执行如上所述的参数缩放。
在615处，量子处理器使用所接收的参数集来构造对应于参数的分布并从所述分布中抽取样本。
在616处，量子处理器将样本发送到采样服务器。样本的传输可以在网络上进行。
在617处，采样服务器可以在使用样本重新对其马尔可夫链设定种子之前对来自量子处理器的所接收的样本执行后处理，从而基于来自量子处理器的结果产生更新的采样。然后，控制转到611。
在618处，方法600测试以检查是否已满足停止标准，如参考方法400的428所述。
在620处，执行机器学习算法的第一数字处理器或内核集返回机器学习算法的结果。
在622处，方法600终止，直到再次被调用。另选地，方法600可以自动重复。
可通过存储在一个或多个非暂态处理器可读介质上的一系列处理器可读指令来实现上述一种或多种方法、一个或多个过程或一种或多种技术。上述一种或多种方法、一个或多个过程或一种或多种技术方法的一些示例部分地由专用设备(诸如绝热量子计算机或量子退火机)执行，或由编程或以其他方式控制绝热量子计算机或量子退火机的操作的系统(例如包括至少一个数字处理器的计算机)执行。上述一种或多种方法、一个或多个过程或一种或多种技术可包括各种动作，但本领域技术人员将认识到，在替代示例中，可省略某些动作和/或可添加附加动作。本领域技术人员将认识到，所示的动作顺序仅出于示例性目的而示出，并且可在替代示例中改变。上述一种或多种方法、一个或多个过程或一种或多种技术的一些示例性动作或操作迭代地执行。上述一种或多种方法、一个或多个过程或一种或多种技术的一些动作可在每次迭代期间、在多次迭代之后或在所有迭代结束时执行。
所示具体实施的上述描述，包括摘要中所描述的内容，并非旨在是穷举性的或将具体实施限制于所公开的精确形式。尽管本文为说明的目的描述了特定的具体实施和示例，但相关领域技术人员能够理解，在不偏离本公开的实质和范围的条件下能够进行各种等同的修改。本文提供的各种具体实施的教导内容可以应用于其他量子计算方法，而不一定应用于上文概括地描述的示例性量子计算方法。
上述各种具体实施可组合以提供另外的具体实施。如果它们与本文中的具体教导内容和定义不矛盾，则在本说明书中提及和/或申请数据表中列出的所有美国专利申请公开、美国专利申请、美国专利、国际专利申请、外国专利和外国专利申请由D-Wave SystemsInc公司共同拥有的全部内容都以引用方式并入本文，包括但不限于：美国专利No.7,898,282；美国专利No.7,800,395；美国专利8,670,807；美国专利申请No.14/676605；国际专利申请No.PCT/US2016/047627；美国专利No.9,218,567；美国专利公开No.US20160042294A1；以及美国临时专利申请序列号62/399,764，于2016年9月26日提交，名称为“Systems andMethods for Degeneracy Mitigation in a Quantum Processor”，以及美国临时专利申请序列号62/399,683，于2016年9月26日提交，名称为“Systems,Methods and Apparatusfor Sampling from a Sampling Server”。
根据以上详细说明可以对具体实施作出这些和其他改变。一般来讲，在所附权利要求书中，所用的术语不应被解释为将所附权利要求限制为说明书和权利要求书中公开的特定具体实施，而应当被解释为包括所有可能的具体实施以及此类权利要求书所包含的等同手段的全部范围。因此，权利要求并不受到公开内容的限制。

Claims (39)

1.一种在机器学习中使用的计算系统，所述计算系统包括：
至少一个数字处理器内核；和
至少一个非暂态处理器可读介质，所述非暂态处理器可读介质能够通信地耦合到所述至少一个数字处理器内核并且存储处理器可执行指令或数据中的至少一者，所述处理器可执行指令或数据在由所述至少一个数字处理器内核执行时，使得所述至少一个数字处理器内核实现采样服务器：
接收用于机器学习过程的迭代的初始参数集，所述机器学习过程在至少一个数字处理器内核上并行于所述采样服务器执行，所述至少一个数字处理器内核与在其上实现所述采样服务器的所述至少一个数字处理器内核分开；
并行于执行所述机器学习过程，临时基于所述初始参数集生成第一样本集；以及
提供由采样服务器生成的所述第一样本集，所述采样服务器由所述至少一个数字处理器内核实现，以在所述机器学习过程的进一步迭代中使用。
2.根据权利要求1所述的计算系统，其中所述处理器可执行指令或数据的执行使得所述至少一个数字处理器内核提供第一函数集以及由采样服务器生成的所述第一样本集，其中所述第一函数集包括一阶和二阶统计。
3.根据权利要求1所述的计算系统，其中所述处理器可执行指令或数据的执行使得所述至少一个数字处理器内核从玻尔兹曼分布中抽取样本。
4.根据权利要求3所述的计算系统，其中所述处理器可执行指令或数据的执行使得所述至少一个数字处理器内核从奇美拉结构化的玻尔兹曼分布中抽取样本。
5.根据权利要求1所述的计算系统，其中所述处理器可执行指令或数据的执行使得所述至少一个数字处理器内核经由单温度吉布斯采样、模拟回火、并行回火、群体退火和退火重要性采样的马尔可夫链中的至少一者来抽取样本。
6.根据权利要求1所述的计算系统，其中所述机器学习过程最大化生成模型的对数似然。
7.根据权利要求1所述的计算系统，其中在其上实现所述采样服务器的所述至少一个数字处理器内核还能够通信地耦合到至少一个量子处理器，并且所述处理器可执行指令或数据的执行使得所述至少一个数字处理器内核还：
从所述采样服务器处提供当前参数集；以及
从所述至少一个量子处理器处接收量子处理器生成的样本集。
8.根据权利要求7所述的计算系统，其中所述处理器可执行指令或数据的执行使得在其上实现所述采样服务器的所述至少一个数字处理器内核还：
对从所述量子处理器处接收的所述样本执行后处理。
9.根据权利要求7所述的计算系统，其中所述量子处理器至少部分地基于由所述采样服务器提供的所述当前参数集从分布中抽取样本。
10.根据权利要求9所述的计算系统，其中所述量子处理器在抽取样本之前执行链嵌入。
11.根据权利要求1所述的计算系统，其中所述采样服务器将样本、样本的函数和对日志分区函数的近似发送到所述至少一个单独的数字处理器内核，所述机器学习过程在所述数字处理器内核上执行。
12.根据权利要求1所述的计算系统，其中在其上实现所述采样服务器的所述至少一个数字处理器内核是具有存储器空间的图形处理器单元的第一处理器内核，执行所述机器学习过程的所述单独的至少一个数字处理器内核是所述图形处理器单元的第二处理器内核，并且所述单独的至少一个数字处理器内核与所述图形处理器单元的所述第一处理器内核共享所述存储器空间。
13.根据权利要求1所述的计算系统，其中在其上实现所述采样服务器的所述至少一个数字处理器内核是第一图形处理器单元的处理器内核，并且执行所述机器学习过程的所述单独的至少一个数字处理器内核是第二图形处理器单元的处理器内核，所述第二图形处理器单元与所述第一图形处理器单元分开并且不同。
14.根据权利要求13所述的计算系统，其中所述第一图形处理单元是第一计算机的一部分，并且所述第二图形处理单元是第二计算机的一部分，所述第二计算机与所述第一计算机分开并且不同。
15.根据权利要求14所述的计算系统，其中在其上实现所述采样服务器的所述至少一个数字处理器内核包括多个处理器的多个数字处理器内核，所述数字处理器内核彼此独立且不同，并且所述多个处理器是多个计算机的部件，来自机器集群的所述计算机经由网络基础结构通信地耦合。
16.根据权利要求1所述的计算系统，其中所述处理器可执行指令或数据的执行使得所述至少一个数字处理器内核还：
迭代地接收所述机器学习过程的多次迭代中的每一次的附加参数集，所述机器学习过程在所述至少一个数字处理器内核上并行于所述采样服务器执行，所述至少一个数字处理器内核与在其上实现所述采样服务器的所述至少一个数字处理器内核分开；
并行于执行所述机器学习过程，临时基于所述附加参数集中的相应一个参数集迭代地生成附加的样本集；以及
迭代地提供由采样服务器生成的所述附加样本集，所述采样服务器由所述至少一个数字处理器内核实现，以在所述机器学习过程的所述迭代中使用。
17.根据权利要求1所述的计算系统，其中所述采样服务器与所述机器学习过程并发执行，从而与其至少一部分重叠。
18.根据权利要求1所述的计算系统，其中所述采样服务器与所述机器学习过程同时执行。
19.一种在机器学习中使用的计算系统的操作方法，所述方法包括：
由实现采样服务器的至少一个数字处理器内核接收用于机器学习过程的迭代的初始参数集，所述机器学习过程在至少一个数字处理器内核上并行于所述采样服务器执行，所述至少一个数字处理器内核与在其上实现所述采样服务器的所述至少一个数字处理器内核分开；
并行于执行所述机器学习过程，由实现采样服务器的至少一个数字处理器内核临时基于所述初始参数集生成第一样本集；以及
由实现采样服务器的至少一个数字处理器内核提供由采样服务器生成的所述第一样本集，所述采样服务器由所述至少一个数字处理器内核实现，以在所述机器学习过程的进一步迭代中使用。
20.根据权利要求19所述的方法，还包括：
由实现采样服务器的至少一个数字处理器内核提供第一函数集以及由采样服务器生成的所述第一样本集，其中所述第一函数集包括一阶和二阶统计。
21.根据权利要求19所述的计算系统，还包括：
由执行所述机器学习过程的所述单独的至少一个数字处理器内核从玻尔兹曼分布中抽取样本。
22.根据权利要求21所述的计算系统，还包括：
由执行所述机器学习过程的所述单独的至少一个数字处理器内核从奇美拉结构化的玻尔兹曼分布中抽取样本。
23.根据权利要求19所述的计算系统，还包括：
由执行所述机器学习过程的所述单独的至少一个数字处理器内核，经由单温度吉布斯采样、模拟回火、并行回火、群体退火和退火重要性采样的马尔可夫链中的至少一者来抽取样本。
24.根据权利要求19所述的方法，还包括：
由所述采样服务器将样本的函数和对日志分区函数的近似发送到在其上所述机器学习过程执行的所述至少一个单独的数字处理器内核。
25.根据权利要求19所述的方法，还包括：
从所述采样服务器向至少一个量子处理器提供当前参数集；以及
由所述采样服务器从所述至少一个量子处理器处接收第二量子处理器生成的样本集。
26.根据权利要求25所述的方法，还包括：
在更新所述当前样本集之前，由所述采样服务器对所述第二样本集执行后处理，以至少部分地基于所述第二样本集产生第三样本集。
27.根据权利要求25所述的方法，还包括：
由所述量子处理器从至少部分地基于由所述采样服务器提供的所述当前参数集的分布中抽取样本。
28.根据权利要求27所述的方法，还包括：
在由所述量子处理器抽取样本之前，由所述量子处理器执行链嵌入。
29.根据权利要求19所述的方法，还包括：
迭代地接收所述机器学习过程的多次迭代中的每一次的附加参数集，所述机器学习过程在所述至少一个数字处理器内核上并行于所述采样服务器执行，所述至少一个数字处理器内核与在其上实现所述采样服务器的所述至少一个数字处理器内核分开；
并行于执行所述机器学习过程，临时基于所述附加参数集中的相应一个参数集迭代地生成附加的样本集；以及
迭代地提供由采样服务器生成的所述附加样本集，所述采样服务器由所述至少一个数字处理器内核实现，以在所述机器学习过程的所述迭代中使用。
30.根据权利要求19所述的方法，其中所述采样服务器与所述机器学习过程并发执行，从而与其至少一部分重叠。
31.根据权利要求19所述的方法，其中所述采样服务器与所述机器学习过程同时执行。
32.一种在机器学习中使用的方法，所述方法包括：
作为对第一问题执行机器学习过程的一部分，由数字处理器初始化初始参数集，所述数字处理器对所述第一问题执行所述机器学习过程；
作为对所述第一问题执行所述机器学习过程的一部分，由执行所述机器学习过程的所述数字处理器将所述初始参数集发送到并行于所述机器学习过程执行的采样服务器；
作为对所述第一问题执行所述机器学习过程的一部分，由所述数字处理器最大化生成模型的对数似然，所述数字处理器基于所述初始参数集和所述样本的函数的计算，并行于由所述采样服务器从分布中抽取样本来执行所述机器学习过程；
作为对所述第一问题执行所述机器学习过程的一部分，由执行所述机器学习过程的所述数字处理器从所述采样服务器处接收所述样本；以及
作为对所述第一问题执行所述机器学习过程的一部分，通过由执行所述机器学习过程的所述数字处理器最大化所述生成模型的所述对数似然，来使用所述接收的样本学习所述分布。
33.根据权利要求32所述的方法，还包括：
由所述采样服务器从分布中抽取所述样本；以及
由所述采样服务器计算所述样本的所述函数作为一阶和二阶统计。
34.根据权利要求32所述的方法，还包括：
由所述采样服务器从玻尔兹曼分布中抽取所述样本。
35.根据权利要求32所述的方法，还包括：
由所述采样服务器经由单温度吉布斯采样、模拟回火、并行回火、群体退火和退火重要性采样的马尔可夫链中的至少一者来抽取所述样本。
36.一种在机器学习中使用的方法，所述方法包括：
作为对第一问题执行机器学习过程的一部分，
由对所述第一问题执行所述机器学习过程的数字处理器将对应于待学习的分布的初始参数集发送到采样服务器；
至少部分地基于所述初始参数由采样服务器抽取来自所述分布的第一样本集，以产生更新的参数集；
由所述数字处理器接收所述第一样本集和所述样本的函数，所述数字处理器对所述第一问题执行所述机器学习过程；
不时地，由所述采样服务器将所述更新的参数发送到量子处理器；
不时地，由所述采样服务器接收从所述量子处理器返回的第二样本集；
更新所述第一样本集，以至少部分地基于所述第二样本集，由所述采样服务器产生对应于所述更新的参数和所述第二样本集的第三样本集；
由所述数字处理器接收所述第三样本集，所述数字处理器对所述第一问题执行所述机器学习过程；以及
由对所述第一问题执行所述机器学习过程的所述数字处理器使用所述第三样本集来最大化生成模型的对数似然。
37.根据权利要求36所述的方法，还包括：
经由量子硬件由所述量子处理器抽取对应于所述更新的参数的所述第二样本集。
38.根据权利要求36所述的方法，还包括：
由所述采样服务器抽取所述第一样本集；以及
由所述采样服务器计算所述第一样本集的所述样本的所述函数作为一阶和二阶统计。
39.根据权利要求38所述的方法，还包括：
在抽取样本之前，由所述量子处理器执行链嵌入。
CN201780071934.6A 2016-09-26 2017-09-25 用于从采样服务器中采样的系统、方法和装置 Active CN109983481B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US201662399683P 2016-09-26 2016-09-26
US62/399,683 2016-09-26
PCT/US2017/053303 WO2018058061A1 (en) 2016-09-26 2017-09-25 Systems, methods and apparatus for sampling from a sampling server

Publications (2)

Publication Number Publication Date
CN109983481A true CN109983481A (zh) 2019-07-05
CN109983481B CN109983481B (zh) 2023-08-15

Family

ID=61690663

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201780071934.6A Active CN109983481B (zh) 2016-09-26 2017-09-25 用于从采样服务器中采样的系统、方法和装置

Country Status (6)

Country Link
US (1) US11481669B2 (zh)
EP (1) EP3516599A4 (zh)
JP (1) JP7134949B2 (zh)
KR (1) KR102593690B1 (zh)
CN (1) CN109983481B (zh)
WO (1) WO2018058061A1 (zh)

Families Citing this family (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JP6873120B2 (ja) 2015-10-27 2021-05-19 ディー−ウェイブ システムズ インコーポレイテッド 量子プロセッサにおける縮退軽減のためのシステムと方法
EP3593297A4 (en) * 2017-03-10 2021-01-20 Rigetti & Co., Inc. MODULAR CONTROL IN A QUANTUM COMPUTER SYSTEM
CA3083008A1 (en) * 2017-12-01 2019-06-06 1Qb Information Technologies Inc. Systems and methods for stochastic optimization of a robust inference problem
US11176478B2 (en) 2019-02-21 2021-11-16 International Business Machines Corporation Method for estimating a quantum phase
WO2020255076A1 (en) 2019-06-19 2020-12-24 1Qb Information Technologies Inc. Method and system for mapping a dataset from a hilbert space of a given dimension to a hilbert space of a different dimension
CN113110931A (zh) * 2020-01-10 2021-07-13 北京小米松果电子有限公司 内核运算优化方法、装置及系统
WO2021203202A1 (en) * 2020-04-09 2021-10-14 Socpra Sciences Et Genie S.E.C. Method of performing a quantum computation
CN111601490B (zh) * 2020-05-26 2022-08-02 内蒙古工业大学 数据中心主动通风地板的强化学习控制方法
CN111768007B (zh) * 2020-06-28 2023-08-08 北京百度网讯科技有限公司 用于挖掘数据的方法和装置
US11809426B2 (en) 2022-02-03 2023-11-07 Bank Of America Corporation System for implementing a data driven channel for query executions using quantum computing

Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples
US20100228694A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Data Processing Using Restricted Boltzmann Machines
US20150269124A1 (en) * 2013-12-05 2015-09-24 D-Wave Systems Inc. Sampling from a set of spins with clamping
WO2015193531A1 (en) * 2014-06-16 2015-12-23 Nokia Technologies Oy Data processing
US20160042294A1 (en) * 2011-07-06 2016-02-11 D-Wave Systems Inc. Quantum processor based systems and methods that minimize an objective function
CN105531725A (zh) * 2013-06-28 2016-04-27 D-波系统公司 用于对数据进行量子处理的系统和方法
WO2016089711A1 (en) * 2014-12-05 2016-06-09 Microsoft Technology Licensing, Llc Quantum deep learning

Family Cites Families (102)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US3470828A (en) 1967-11-21 1969-10-07 James R Powell Jr Electromagnetic inductive suspension and stabilization system for a ground vehicle
US5249122A (en) 1990-03-15 1993-09-28 Mount Sinai School Of Medicine Of The City University Of New York Method and apparatus for forming images using orthogonal polynomials for temporal deconvolution
US6671661B1 (en) 1999-05-19 2003-12-30 Microsoft Corporation Bayesian principal component analysis
JP3266586B2 (ja) 1999-07-07 2002-03-18 インターナショナル・ビジネス・マシーンズ・コーポレーション データ分析システム
JP2003527686A (ja) 2000-03-16 2003-09-16 チェン，ユアン，ヤン 事物を多数のクラスから１つまたは複数のクラスのメンバーとして分類する方法
US20030030575A1 (en) 2001-05-07 2003-02-13 Harmonic Data Systems Ltd. Lossless data compression
US7636651B2 (en) 2003-11-28 2009-12-22 Microsoft Corporation Robust Bayesian mixture modeling
US7135701B2 (en) 2004-03-29 2006-11-14 D-Wave Systems Inc. Adiabatic quantum computation with superconducting qubits
US7299171B2 (en) 2004-08-17 2007-11-20 Contentguard Holdings, Inc. Method and system for processing grammar-based legality expressions
WO2006026706A2 (en) 2004-08-31 2006-03-09 Intelligent Automation, Inc. Automated system and method for tool mark analysis
US7565627B2 (en) 2004-09-30 2009-07-21 Microsoft Corporation Query graphs indicating related queries
US20060115145A1 (en) 2004-11-30 2006-06-01 Microsoft Corporation Bayesian conditional random fields
US7533068B2 (en) 2004-12-23 2009-05-12 D-Wave Systems, Inc. Analog processor comprising quantum devices
US8560282B2 (en) 2005-07-11 2013-10-15 D-Wave Systems Inc. Quantum processor-based systems, methods and apparatus for solving problems as logic circuits
WO2010148120A2 (en) 2009-06-17 2010-12-23 D-Wave Systems Inc. Systems and methods for solving computational problems
US7401305B2 (en) 2005-07-11 2008-07-15 International Business Machines Corporation Adaptive application of SAT solving techniques
US7467118B2 (en) 2006-01-12 2008-12-16 Entelos Inc. Adjusted sparse linear programming method for classifying multi-dimensional biological data
US8054380B2 (en) 2006-04-12 2011-11-08 Zoran (France) Method and apparatus for robust super-resolution video scaling
US8195726B2 (en) 2006-06-20 2012-06-05 D-Wave Systems Inc. Systems, devices, and methods for solving computational problems
US8271043B2 (en) 2006-08-21 2012-09-18 Qualcomm Incorporated Approach to a unified SU-MIMO/MU-MIMO operation
US7729531B2 (en) 2006-09-19 2010-06-01 Microsoft Corporation Identifying repeated-structure elements in images
US20090077001A1 (en) 2006-11-02 2009-03-19 William Macready Integrating optimization directly into databases
CN101548288B (zh) 2006-12-05 2013-04-24 D-波系统公司 用于量子处理器元件本地编程的系统、方法和装置
CN1973756A (zh) 2006-12-20 2007-06-06 复旦大学附属中山医院 氧化还原纳米药物量子点构成室温超导量子比特网络的方法
US8195596B2 (en) 2007-01-12 2012-06-05 D-Wave Systems Inc. Systems, devices, and methods for interconnected processor topology
US20090006457A1 (en) 2007-02-16 2009-01-01 Stivoric John M Lifeotypes
CA2681147A1 (en) 2007-04-19 2008-10-30 D-Wave Systems Inc. Systems, methods, and apparatus for automatic image recognition
US20080313430A1 (en) 2007-06-12 2008-12-18 Bunyk Paul I Method and system for increasing quantum computer processing speed using digital co-processor
US8244650B2 (en) * 2007-06-12 2012-08-14 D-Wave Systems Inc. Systems, methods, and apparatus for recursive quantum computing algorithms
WO2009049262A1 (en) 2007-10-11 2009-04-16 Honda Motor Co., Ltd. Text categorization with knowledge transfer from heterogeneous datasets
US8190548B2 (en) 2007-11-08 2012-05-29 D-Wave Systems Inc. Systems, devices, and methods for analog processing
US8832165B2 (en) 2007-12-12 2014-09-09 Lockheed Martin Corporation Computer systems and methods for quantum verification and validation
JP5296189B2 (ja) 2008-03-24 2013-09-25 ディー−ウェイブ システムズ，インコーポレイテッド アナログ処理用のシステム、装置、および方法
US8131660B2 (en) 2008-04-08 2012-03-06 Microsoft Corporation Reconfigurable hardware accelerator for boolean satisfiability solver
EP2283373B1 (en) 2008-04-28 2021-03-10 Cornell University Accurate quantification of magnetic susceptibility in molecular mri
US9015215B2 (en) 2008-05-20 2015-04-21 D-Wave Systems, Inc. Systems, methods, and apparatus for calibrating, controlling, and operating a quantum processor
WO2009152180A2 (en) 2008-06-10 2009-12-17 D-Wave Systems Inc. Parameter learning system for solvers
US8081209B2 (en) 2008-06-26 2011-12-20 Toyota Motor Engineering & Manufacturing North America, Inc. Method and system of sparse code based object classification with sensor fusion
US8145334B2 (en) 2008-07-10 2012-03-27 Palo Alto Research Center Incorporated Methods and systems for active diagnosis through logic-based planning
US20100169243A1 (en) 2008-12-27 2010-07-01 Kibboko, Inc. Method and system for hybrid text classification
US8095345B2 (en) 2009-01-20 2012-01-10 Chevron U.S.A. Inc Stochastic inversion of geophysical data for estimating earth model parameters
US20100332423A1 (en) 2009-06-24 2010-12-30 Microsoft Corporation Generalized active learning
JP5254893B2 (ja) 2009-06-26 2013-08-07 キヤノン株式会社 画像変換方法及び装置並びにパターン識別方法及び装置
US10223632B2 (en) 2009-07-27 2019-03-05 International Business Machines Corporation Modeling states of an entity
US20110142335A1 (en) 2009-12-11 2011-06-16 Bernard Ghanem Image Comparison System and Method
US20110295845A1 (en) 2010-05-27 2011-12-01 Microsoft Corporation Semi-Supervised Page Importance Ranking
US10592757B2 (en) 2010-06-07 2020-03-17 Affectiva, Inc. Vehicular cognitive data collection using multiple devices
US8566260B2 (en) 2010-09-30 2013-10-22 Nippon Telegraph And Telephone Corporation Structured prediction model learning apparatus, method, program, and recording medium
US8242799B2 (en) 2010-11-16 2012-08-14 Northrop Grumman Systems Corporation System and method for phase error reduction in quantum systems
US8977576B2 (en) 2010-11-19 2015-03-10 D-Wave Systems Inc. Methods for solving computational problems using a quantum processor
US8589319B2 (en) 2010-12-02 2013-11-19 At&T Intellectual Property I, L.P. Adaptive pairwise preferences in recommenders
CN102364497B (zh) 2011-05-06 2013-06-05 北京师范大学 一种应用于电子导盲系统的图像语义提取方法
KR101318812B1 (ko) 2011-07-18 2013-10-17 한양대학교 산학협력단 에지의 방향 성분을 검출하는 영상 필터링 방법 및 이를 이용한 영상 인식 방법
CN102324047B (zh) 2011-09-05 2013-06-12 西安电子科技大学 基于稀疏核编码skr的高光谱图像地物识别方法
US20130097103A1 (en) 2011-10-14 2013-04-18 International Business Machines Corporation Techniques for Generating Balanced and Class-Independent Training Data From Unlabeled Data Set
US9700276B2 (en) 2012-02-28 2017-07-11 Siemens Healthcare Gmbh Robust multi-object tracking using sparse appearance representation and online sparse appearance dictionary update
US8958632B2 (en) 2012-03-12 2015-02-17 Mitsubishi Electric Research Laboratories, Inc. Learning dictionaries with clustered atoms
CN102651073B (zh) 2012-04-07 2013-11-20 西安电子科技大学 基于稀疏动态集成选择的sar图像地物分类方法
CN102831402B (zh) 2012-08-09 2015-04-08 西北工业大学 基于稀疏编码和视觉显著性的红外遥感图像检测机场的方法
US11082490B2 (en) * 2012-11-28 2021-08-03 Nvidia Corporation Method and apparatus for execution of applications in a cloud system
US9241102B2 (en) 2012-12-05 2016-01-19 Xerox Corporation Video capture of multi-faceted documents
US9378733B1 (en) 2012-12-19 2016-06-28 Google Inc. Keyword detection without decoding
US9944520B2 (en) 2013-01-15 2018-04-17 Alcatel Lucent Syndrome of degraded quantum redundancy coded states
US20140201208A1 (en) 2013-01-15 2014-07-17 Corporation Symantec Classifying Samples Using Clustering
US20140214835A1 (en) * 2013-01-29 2014-07-31 Richard Thomas Oehrle System and method for automatically classifying documents
EP2951720B1 (en) 2013-01-31 2018-05-02 Betazi, LLC Production analysis and/or forecasting methods, apparatus, and systems
US9111230B2 (en) 2013-03-14 2015-08-18 International Business Machines Corporation Frequency arrangement for surface code on a superconducting lattice
WO2014174087A1 (en) 2013-04-25 2014-10-30 Thomson Licensing Method and device for performing super-resolution on an input image
US10318881B2 (en) 2013-06-28 2019-06-11 D-Wave Systems Inc. Systems and methods for quantum processing of data
US8863044B1 (en) 2013-09-06 2014-10-14 International Business Machines Corporation Layout assessment method and system
US10339466B1 (en) 2013-09-11 2019-07-02 Google Llc Probabilistic inference in machine learning using a quantum oracle
US20160307305A1 (en) 2013-10-23 2016-10-20 Rutgers, The State University Of New Jersey Color standardization for digitized histological images
US20150161524A1 (en) 2013-12-05 2015-06-11 D-Wave Systems Inc. Sampling from a set spins with clamping
US10282465B2 (en) 2014-02-25 2019-05-07 Intel Corporation Systems, apparatuses, and methods for deep learning of feature detectors with sparse coding
US9158971B2 (en) 2014-03-03 2015-10-13 Xerox Corporation Self-learning object detectors for unlabeled videos using multi-task learning
CA2952594C (en) 2014-05-01 2023-08-01 Lockheed Martin Corporation Quantum-assisted training of neural networks
US11256982B2 (en) 2014-07-18 2022-02-22 University Of Southern California Noise-enhanced convolutional neural networks
CN107077642B (zh) 2014-08-22 2021-04-06 D-波系统公司 可用于量子计算的用于求解问题的系统和方法
US20160110657A1 (en) * 2014-10-14 2016-04-21 Skytree, Inc. Configurable Machine Learning Method Selection and Parameter Optimization System and Method
AU2016218947A1 (en) 2015-02-13 2017-08-17 Commonwealth Scientific And Industrial Research Organisation Learning from distributed data
USD795416S1 (en) 2015-02-27 2017-08-22 3M Innovative Properties Company Respirator mask
CN104766167A (zh) 2015-03-31 2015-07-08 浪潮集团有限公司 一种使用受限玻尔兹曼机的税务大数据分析方法
EP3304436A1 (en) 2015-06-04 2018-04-11 Microsoft Technology Licensing, LLC Fast low-memory methods for bayesian inference, gibbs sampling and deep learning
AU2016274212B2 (en) 2015-06-11 2019-03-14 Green Oak Technology Group Llc Tip-proof feeding bowl for house pets
US9801313B2 (en) 2015-06-26 2017-10-24 Microsoft Technology Licensing, Llc Underwater container cooling via integrated heat exchanger
CN108140146B (zh) 2015-08-19 2022-04-08 D-波系统公司 使用绝热量子计算机的离散变分自动编码器系统和方法
EP3338222A4 (en) 2015-08-19 2019-05-01 D-Wave Systems Inc. SYSTEMS AND METHODS FOR MACHINE LEARNING USING QUANTIC ADIABATIC COMPUTERS
US10255628B2 (en) 2015-11-06 2019-04-09 Adobe Inc. Item recommendations via deep collaborative filtering
US10296846B2 (en) 2015-11-24 2019-05-21 Xerox Corporation Adapted domain specific class means classifier
EP3398121A1 (en) 2015-12-30 2018-11-07 Google LLC Quantum statistic machine
US20190018933A1 (en) 2016-01-15 2019-01-17 Preferred Networks, Inc. Systems and methods for multimodal generative machine learning
WO2017124299A1 (zh) 2016-01-19 2017-07-27 深圳大学 基于序贯贝叶斯滤波的多目标跟踪方法及跟踪系统
US20180365594A1 (en) 2016-01-29 2018-12-20 William G. Macready Systems and methods for generative learning
US10817796B2 (en) 2016-03-07 2020-10-27 D-Wave Systems Inc. Systems and methods for machine learning
US10789540B2 (en) 2016-04-18 2020-09-29 D-Wave Systems Inc. Systems and methods for embedding problems into an analog processor
US10180688B2 (en) 2016-06-13 2019-01-15 International Business Machines Corporation Optimization through use of conductive threads and biometric data
WO2018005413A1 (en) 2016-06-30 2018-01-04 Konica Minolta Laboratory U.S.A., Inc. Method and system for cell annotation with adaptive incremental learning
US20180025291A1 (en) 2016-07-20 2018-01-25 Carnegie Mellon University Data Processing System for Generating Data Structures
CA3034888A1 (en) 2016-09-08 2018-03-15 Walmart Apollo, Llc Systems and methods for pollinating crops via unmanned vehicles
CN106569601A (zh) 2016-10-28 2017-04-19 华南理工大学 一种基于p300脑电的虚拟驾驶系统控制方法
US11157828B2 (en) 2016-12-08 2021-10-26 Microsoft Technology Licensing, Llc Tomography and generative data modeling via quantum boltzmann training
US11205103B2 (en) 2016-12-09 2021-12-21 The Research Foundation for the State University Semisupervised autoencoder for sentiment analysis

Patent Citations (7)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US20080103996A1 (en) * 2006-10-31 2008-05-01 George Forman Retraining a machine-learning classifier using re-labeled training samples
US20100228694A1 (en) * 2009-03-09 2010-09-09 Microsoft Corporation Data Processing Using Restricted Boltzmann Machines
US20160042294A1 (en) * 2011-07-06 2016-02-11 D-Wave Systems Inc. Quantum processor based systems and methods that minimize an objective function
CN105531725A (zh) * 2013-06-28 2016-04-27 D-波系统公司 用于对数据进行量子处理的系统和方法
US20150269124A1 (en) * 2013-12-05 2015-09-24 D-Wave Systems Inc. Sampling from a set of spins with clamping
WO2015193531A1 (en) * 2014-06-16 2015-12-23 Nokia Technologies Oy Data processing
WO2016089711A1 (en) * 2014-12-05 2016-06-09 Microsoft Technology Licensing, Llc Quantum deep learning

Also Published As

Publication number Publication date
US11481669B2 (en) 2022-10-25
CN109983481B (zh) 2023-08-15
EP3516599A4 (en) 2019-10-02
EP3516599A1 (en) 2019-07-31
WO2018058061A1 (en) 2018-03-29
JP7134949B2 (ja) 2022-09-12
US20210289020A1 (en) 2021-09-16
KR102593690B1 (ko) 2023-10-26
JP2019533241A (ja) 2019-11-14
KR20190068559A (ko) 2019-06-18

Similar Documents

Publication Publication Date Title
CN109983481A (zh) 用于从采样服务器中采样的系统、方法和装置
US20210365826A1 (en) Discrete variational auto-encoder systems and methods for machine learning using adiabatic quantum computers
Xin et al. Neurolkh: Combining deep learning model with lin-kernighan-helsgaun heuristic for solving the traveling salesman problem
CN108369668B (zh) 用于创建和使用量子玻尔兹曼机的系统和方法
CN108140146B (zh) 使用绝热量子计算机的离散变分自动编码器系统和方法
Baymurzina et al. A review of neural architecture search
US11410067B2 (en) Systems and methods for machine learning using adiabatic quantum computers
Zheng et al. Layer-wise learning based stochastic gradient descent method for the optimization of deep convolutional neural network
Feindt A neural Bayesian estimator for conditional probability densities
Helbig et al. Population-based metaheuristics for continuous boundary-constrained dynamic multi-objective optimisation problems
CN116011510A (zh) 用于优化机器学习架构的框架
CA3131688A1 (en) Process and system including an optimization engine with evolutionary surrogate-assisted prescriptions
Chou et al. Classical and quantum-inspired Tabu search for solving 0/1 knapsack problem
CN115661550B (zh) 基于生成对抗网络的图数据类别不平衡分类方法及装置
Wu et al. AdaBoost-based long short-term memory ensemble learning approach for financial time series forecasting
Helseth et al. Combining Machine Learning and Optimization for Efficient Price Forecasting
Li et al. Multiobjective bilevel programming model for multilayer perceptron neural networks
Singh et al. Feature selection and hyper-parameter tuning technique using neural network for stock market prediction
Chen et al. A meta-framework for multi-label active learning based on deep reinforcement learning
Liu et al. Semi‐supervised breast histopathological image classification with self‐training based on non‐linear distance metric
Paliwal et al. Stock Prediction using Neural Networks and Evolution Algorithm
Wang et al. Deep semi-supervised learning via dynamic anchor graph embedding learning
Tian et al. Generation, division and training: A promising method for source-free unsupervised domain adaptation
Bojja Venkatakrishnan et al. Learning generalizable device placement algorithms for distributed machine learning
Zheng et al. Study III. An Integration of Spatially Explicit Hyperparameter Optimization with Convolutional Neural Networks-Based Spatial Models

Legal Events

Date Code Title Description
PB01 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
GR01 Patent grant
GR01 Patent grant