CN105593879A

CN105593879A - 通用机器学习构造块

Info

Publication number: CN105593879A
Application number: CN201480038751.0A
Authority: CN
Inventors: 亚历克斯·纽金特; 蒂姆·莫尔特
Original assignee: Knowmtech LLC
Current assignee: Knowmtech LLC
Priority date: 2013-05-06
Filing date: 2014-05-02
Publication date: 2016-05-18
Also published as: EP2994855A1; US20180174035A1; WO2014182549A1; EP2994855A4; JP2016524216A

Abstract

一种通用机器学习构造块，在一些实施方式中包括差分对输出电极，其中每个电极包括经由亚稳开关的集合耦合到该电极的多个输入线。在其它实施方式中，在硬件和/或软件的背景下可执行一种方法以得到线性神经元，实现一种AHaH可塑性规则，并产生可以包括一个或多个这种线性神经元的一种或若干AHaH节点，其中该一种或若干AHaH节点根据AHaH规则起作用。一些实施方式也可包括一种含有一个或多个这种AHaH节点的AHaH分类器和/或AHaH聚类器。

Description

通用机器学习构造块

技术领域

实施方式一般涉及机器学习应用。实施方式也涉及忆阻器器件和应用。实施方式进一步涉及AHaH(反赫布和赫布)学习器件、系统和应用。

背景技术

基于存储和处理分离的现代计算架构导致众所周知的被称为冯·诺依曼瓶颈的问题，例如对在CPU和RAM之间的数据宽带的限制性的限制。当前在新型电子器件的发展中存在许多技术和经济压力。在量子计算、微机电系统、纳米技术以及分子电子学和忆阻电子学上的最新发展提供了新的和令人兴奋的途径，以扩展传统冯·诺依曼数字计算机的局限性。由于在这样一种小尺度上的精确控制制造的难度，随着器件密度的增加，研发和制造的成本飞涨。需要新的计算架构以减轻被称为摩尔第二定律所描述的经济压力：半导体制造的资本成本随着时间呈指数增长。我们消耗大量的能量来构建地球上最无菌和最受控制的环境以制造现代电子学。然而，生命是能够组装和修复比任何现代芯片复杂得多的结构，且它能够这样做，同时嵌在现实世界中，而不是嵌在一个干净的房间内。

例如，IBM的10亿神经元和10万亿突触的猫尺度皮层模拟需要147456CPU、144TB内存，并且跑了1/83的实时。在每个CPU20瓦的功率消耗下，这是2.9兆瓦。如果我们假定完美的按比例缩放，实时模拟将多消耗83倍的功率或244兆瓦。以大致猫皮层大小的三十倍，人尺度皮层的仿真将达到超过700万千瓦。在大脑中皮层代表全部神经元的一小部分，神经元代表全部细胞的一小部分，且IBM神经元模型被极度简化。在IBM模拟中在不断修改下的自适应变量的数目是生物对应物的几个数量级分之一，从而它的功率损耗是几个数量级大。功率偏差是如此之大，它提醒人们不只是注意我们目前技术的限制，还要注意在我们如何看待计算上的不足。

通过复杂和变化的世界，大脑已经进化到移动身体。换句话说，大脑是适应性的和可移动的设备。如果我们想要建立带有接近生物学的电源和空间预算的实用的人造大脑，我们必须将存储和处理合并到一种新型的物理自适应硬件和有用的软件应用内。

发明内容

提供本发明的以下内容以易于理解独特于已公开的实施方式的一些创新特征，且本发明的以下内容不打算全面的描述。本发明的各个方面的全面理解可以通过将整个说明书、权利要求书、附图和摘要作为一个整体而获得。

因此，所公开的实施方式的一个方面是提供一种通用机器学习构造块。

所公开的实施方式的另一方面是由差分对忆阻器和AHaH(反赫布和赫布)的可塑性形成一种自适应突触权重。

所公开的实施方式的进一步方面是提供一种能被加入到集成电路器件中用于机器学习应用的物理突触部件。

所公开实施方式的一个方面也是提供突触权重的差分阵列，以形成神经节点电路，神经节点电路的吸引子状态为形成计算性完备集的逻辑函数。

所公开的实施方式的另一方面是提供通用机器学习构造块，其可包括差分对的输出电极，其中每个电极包括经由亚稳开关的集合耦合到该电极的多个输入线。

所公开的实施方式的另一方面是提供一种机器学习方法，其在硬件和/或软件的背景下能被执行。

所公开的实施方式的进一步方面是提供一种AHaH节点，其在硬件和/或软件的背景下能被执行。

所公开的实施方式的进一步方面是提供一种AHaH分类器，其在硬件和/或软件的背景下能被执行。

所公开的实施方式的附加方面是提供一种AHaH聚类，其在硬件和/或软件的背景下能被执行。

如本文中所描述的，现在可以实现前面提及的方面和其它目的以及优点。

基于存储和处理分离的现代计算架构导致一个众所周知的被称为冯·诺依曼瓶颈的问题，即对在CPU和RAM之间的数据宽带的限制性的限制。所公开的实施方式涉及一种新的计算途径，我们称之为“AHaH计算”，在这种情况下，存储和处理被结合在一起。该途径的方面是以由生物系统激发的易失耗散电子的吸引子动力学为基础，从而呈现能够适应、自我修复、以及从与环境的相互作用中学习的有吸引力的替代架构。用这种途径，冯·诺依曼和AHaH计算架构能在相同的机器上一起运行，且AHaH计算处理器能降低用于确定的自适应学习任务的功率消耗和处理时间几个数量级。

所公开的实施方式在热力学、易失性的性能，和反赫布以及赫布(AHaH)可塑性之间绘制出一种连接。AHaH突触可塑性导致吸引子状态，该吸引子状态提取应用的数据流的独立部件并能形成一种计算性完备集的逻辑函数。此处基于亚稳开关的集合公开了一种通用的忆阻器件的模型。这样的实施方式论证了自适应的突触权重如何能由差分对的增量忆阻器形成。突触权重的阵列也可以被用于建立运行AHaH可塑性的神经节点电路。通过以不同的方式配置AHaH节点的吸引子状态，可实现高水平的机器学习功能。这包括，例如，无监督聚类、监督和无监督分类、复杂信号预测、无监督的机器人驱动、和程序所有生物神经系统的核心能力和具有现实世界应用的现代机器学习算法的组合优化。

生物已经从易失性神经成分进化为智能生物建造，该智能生物建造具有成功导航并适应不断变化的环境的能力以寻求和消耗被用于维持和繁殖生命的能量。生物体可以鉴于有限的能量预算做它们所做的，这一事实是进一步令人震惊的。在计算、机器学习、和人工智能上的进步未能甚至接近自然已经设定的障碍。因此，我们相信需要发明一种全新的基于生物的易失低功率解决方案的计算途径。所公开的实施方式避免例如妨碍当前基于冯·诺依曼的系统的障碍。忆阻电路的最近出现也现已使将突触状的电子部件添加以建立硅集成器件成为可能，从而为这种新型计算铺平了道路。

附图说明

附图，连同发明的详细描述进一步图解本发明，并用于解释本发明的原理，附图中同样的参考标号是指在各个视图中相同或功能上相似的元件，并且附图被并入并形成说明书的一部分。

根据所公开的实施方式的方面，图1图解了描绘MSS(亚稳开关)的曲线图；

根据所公开的实施方式的方面，图2A-2B分别图解了曲线图120和122，其描绘了一种使用MSS模型的模型-硬件相关性；

根据所公开的实施方式的方面，图3图解了描绘形成突触的差分对忆阻器的示意图；

根据优选实施方式，图4图解了描绘AHaH节点的电路示意图；

根据所公开的实施方式的方面，图5图解了一种描绘数据的曲线图，该数据表明了从AHaH节点生成的AHaH规则。

根据所公开的实施方式的方面，图6A-6B图解了输入空间图和描绘双输入AHaH节点的吸引子状态的曲线图；

根据所公开的实施方式的方面，图7图解了一种描绘数据的曲线图，该数据表明包括如电路级和功能模拟的AHAH聚类器；

根据所公开的实施方式的方面，图8A-8C图解了表明二维空间聚类示范的曲线图；

根据所公开的实施方式的方面，图9图解了一种描绘举例测试分类的基准测试结果的曲线图；

根据所公开的实施方式的方面，图10图解了一种描绘表明了AHaH分类器的半监督运行的数据的曲线图；

根据所公开的实施方式的方面，图11图解了一种描绘带有AHaH分类器的复杂信号预测的曲线图；

根据所公开的实施方式的方面，图12A-12B图解了无监督机器人臂挑战的图(左)和描绘其数据的曲线图；

根据所公开的实施方式的方面，图13A-13C图解描绘表明了64城市旅行推销员挑战的数据的曲线图；

图14图解了一种计算系统的示意图，可根据一个或多个实施方式实施该计算系统；

根据所公开的实施方式的方面，图15图解了一种软件系统的示意图，该软件系统可被实施用于实现基于忆阻器的通用机器学习块；和

根据所公开的实施方式的方面，图16-17图解了一种突触元件模块的替代实施例，该突触部件模块能与电子集成电路(IC)集成或与电子集成电路(IC)相关联。

具体实施方式

这些非限制性示例中所讨论的特定值和配置可变化并被引用仅用来说明本发明的实施方式并且不旨在限制本发明的范围。

此处所描述的本文所公开的实施方式一般涵盖三重目的。第一，这样的实施方式揭示了在计算机工程中非易失性的常见隐藏假设以及这种思维倾向是怎样从根本上违背了生物学和物理学并有可能是现代计算技术和生物神经系统之间的极端的功率差异的原因。第二，本文中讨论了一种简单的自适应电路和功能模型，该自适应电路和功能模型可以被从亚稳(例如，易失的)开关集合来配置并被用作基本的构造块以构建更高阶的机器学习能力。第三，我们论证了如何能够从我们的自适应构造块获得若干核心机器学习功能，例如聚类、分类和机器人驱动。当把所有的联系在一起时，我们希望去展示一种在今天的技术和明天的自适应物理自组织神经形态处理器之间的相对清晰的路径。

现在在下文中参照附图将对实施方式进行更充分的描述。附图中示出了本发明的说明性实施方式。本文所公开的实施方式可以以许多不同的形式来体现且不应被解释为限于本文所阐述的实施方式；更确切地说，提供这些实施方式以便本公开将是彻底的和完整的，并且将充分地将本发明的范围传达给本领域技术人员。贯穿全文相同的数字指相同的元件。如本文所使用的，术语“和/或”包括一个或多个相关列出的项目的任意和所有组合。

本文所使用的术语仅是为了描述特定的实施方式的目的而不是旨在限制本发明。如本文所使用的，除非上下文清楚地指出，否则，单数形式“一种(a)”、“一种(an)”和“该(the)”旨在也包括复数形式。将进一步理解，术语“包括(comprises)”和/或“包括(comprising)”，当被用在本说明书中时，具体说明所述特征、整数、步、操作、元件、和/或部件的存在，但不排除一个或多个其它特征、整数、步、操作、元件、部件、和/或它们的组的存在或添加。

注意，如本文所使用的术语“模块”可以指一种物理模块或部件(例如电子部件/硬件)和/或术语“模块”可以指计算机软件(例如，软件模块、程序模块，等等)、计算机程序、子例程、例程，等等。一般地，程序模块包括，但不限于执行特定任务或实现特定抽象数据类型和指令的例程、子例程、软件应用、程序、对象、部件、数据结构，等等。此外，本领域的技术人员将理解，所公开的方法和系统可与其他计算机系统配置一起来实施，其他计算机系统配置如，例如，手持式设备、多处理器系统、数据网络、基于微处理器的或可编程的消费性电子产品、网络个人计算机、小型计算机、大型计算机，服务器，等等。

可以理解所公开的框架可以在硬件的背景下被实施(例如，作为IC芯片)和/或作为计算机软件、模块等被实施，以执行指令/算法等。因此，所公开的框架可以作为硬件IC芯片、软件模块等或其组合来被实施。

注意，如本文所使用的，术语“AHA”或“AHaH”一般指“反赫布和赫布”。因此，“AHaH可塑性”是指“反赫布和赫布可塑性”以及一种“AHaH节点”指的是一种实现AHaH可塑性的神经元模型。美国专利No.7,398,259公开了一种AHaH可塑性规则的应用的一个非限制性示例，其在此通过引用的方式被并入。美国专利No.7,409,375公开了一种AHaH可塑性规则的另一个非限制性示例，其也在此通过引用的方式被并入。美国专利No.7,412,428公开了一种AHaH可塑性规则的进一步非限制性示例，其在此通过引用的方式被并入。

美国专利No.7,420,396公开了一种AHaH可塑性规则的附加非限制性示例，其也在此通过引用的方式被并入。美国专利No.7,502,769公开了一种AHaH可塑性规则的另一非限制性示例，其也在此通过引用的方式被并入。美国专利No.7,599,895公开了一种AHaH可塑性规则的进一步非限制性示例，其在此通过引用的方式被并入。美国专利No.7,827,130公开了一种AHaH可塑性规则的另一非限制性示例，其在此通过引用的方式被并入。

美国专利No.7,930,257公开了一种AHaH可塑性规则的附加非限制性示例，其在此通过引用的方式被并入。美国专利No.8,022,732公开了一种AHaH可塑性规则的进一步非限制性示例，其在此通过引用的方式被并入。美国专利No.8,041,653公开了一种AHaH可塑性规则的另一非限制性示例，其在此通过引用的方式被并入。

易失性、生命和自适应功率问题

易失性是生命的特征，它将具有它的物体与那些不具有它的物体区别开，或者是因为这样的功能已经停止，如在死亡状态，或者因为它们缺乏这样的功能，如无生命物体的情况。所有的生命是易失的这一事实导致生命在所有尺度上是自适应的这一观察：每个细胞的每个部件正在通过不断地修复而被放置在一起。更近的观察发现，在如此大尺度上的自适应似乎是从根本上违背了非易失性的计算框架。

考虑两个开关。第一个开关是易失的，以便它的状态必须不断地被更新或修复。第二个开关是非易失的，不受背景能量波动的影响。让我们来看看如何才能改变这些开关中每一个开关的状态，改变这些开关中每一个的状态是适应或重新配置的最根本的行为。抽象地，我们可以将开关表示为具有两个或多个最小量的势能阱，如图1所示，根据所公开的实施方式的方面，图解了描绘MSS(亚稳开关)的曲线图100。MSS的是双状态部件，其作为施加的偏置和温度的函数在它的两个状态之间概率地切换。MSS将从B状态转换到A状态的概率由P_A给出，而MSS将从A状态转换到B状态的概率由P_B给出。我们将忆阻器建模为随着离散时间步长演变的N亚稳开关的集合。

在非易失性的情况下，我们必须施加足以克服势垒电位的能量以及一旦发生切换我们按与势垒高度成比例来消散能量。正是导致开关的电极而不仅仅是该开关必须被提高到开关势垒能。随着自适应变量数目的增加，维持切换事件的所需功率按比例作为被需要传递切换事件的总距离。因此，最坏的可能架构是一种耦合到分布式非易失性存储器的集中的CPU。

在易失的情况下，我们可以做一些更有趣的事情。我们可以把能量拿走，而不是施加能量。由于开关消散较少的能量，它的势垒下降直到固有的热涨落的能量足以造成自发状态转换。假设存在一种机制来取决于它满足外部约束的话使易失存储元件的能量进入，如果一旦约束被满足，能量应返回，则存储元件将配置本身。

在非易失的情况下，实现状态转换所需的能量来源于开关外部并且必须被传递。在易失的情况下，实现状态转换的能量来自开关本身。一个开关被编程，而其他开关本身被编程。一个开关要求更多的能量来转换而其它开关要求更少的能量来转换。当我们把这些观察和所有的大脑(和生命)是固有易失性的事实结合在一起时，我们留下了很有意思的看法，即易失性实际上可能是摩尔第二定律(Moore’ssecondlaw)的一个解决方案，而不是它的起因。或许，唯一必须改变的事情是我们如何看待计算。

亚稳开关

亚稳开关(MSS)具有由势能垒分开的两个状态，A和B。让势垒电位为参考电位V＝0。MSS将从B状态转换到A状态的概率由P_A给出，然而MSS将从A状态转换到B状态的概率由P_B给出。转换概率可被建模为：

P_B＝□(1□□(□V，□V_B))(2)

其中，是热电压且在T＝300K处等于26mV^-1，是时间步长周期Δt与器件的特征时间尺度t_c的比，以及ΔV是开关两端的电压。我们将P_A定义为正向方向，以便正施加电压增加占用A状态的机会。每个状态具有w_A和w_B给出的固有电导。我们约定w_B＞w_A。只要这些电导相异，MSS就具有在电路上作为存储器或自适应计算元件的实用性。

忆阻器可以被建模为在离散时间步长Δt上演变的N个亚稳开关的集合。忆阻器电导可以由每个亚稳开关的总和来提供：

W_m＝N_Aw_A+N_Bw_B＝N_B(w_B□w_A)+Nw_A(3)

其中，N_A是MSS在A状态的数目，N_B是MSS在B状态的数目且N＝N_A+N_B。在每个时间步长上在A状态上的该MSS的一些亚群体将转换到B状态，而在B状态的一些亚群体将转换到A状态。k开关转换出n开关的数目由二项分布给出：

当n变得更大时，二项分布可近似为正态分布：

其中，μ＝np和σ²＝np(1-p)。

在忆阻器电导上的变化可以被建模为一种概率进程，其中，在A状态和B状态之间转换的MSS的数目被从正态分布中挑选，该正态分布具有在np处的中心和方差np(1-p)，以及其中状态转换概率由方程式1和方程式2给出。

对忆阻器电导的更新可由来自从两个正态分布中挑选的两个随机变量的贡献提供：

□N_B＝G(N_AP_A，N_AP_A(1□P_A))□G(N_BP_B，N_BP_B(1□P_B))(6)

对忆阻器电导最后的更新然后由如下给出：

□w_m＝□N_B(w_B□w_A)(7)

忆阻器

在2008年，HP实验室宣布生产第四个和最后的基本二端电子设备，忆阻器，Chua在1971年预言过其的存在。可以认为，物理设备不是纯粹忆阻的，但是为简单起见，我们指的忆阻器作为这样一种器件，该器件能在高电阻状态和低电阻状态之间切换且当将流经器件的电流绘制为施加的正弦电压的函数时通常呈现为压紧的磁滞回线。对于学习神经形态电路，我们最感兴趣的是呈现逐步状态的转换而不是突然的开关样行为的设备。因为这些原因，我们选择两个忆阻器器件以测试我们的MSS模型来应对：来自博伊西州立大学的Ag-硫族化合物(Ag-Chalcogenide)器件和来自密歇根大学的Ag-Si器件。

根据所公开的实施方式的方面，图2A-2B分别图解说明了曲线图120和122，曲线图120和122使用MSS模型描绘了一种模型到硬件的相关性。图2的曲线图120、122所示的实线代表覆盖在实际器件顶端的器件模拟电流-电压数据。A)例如，来自博伊西州立大学的Ag-硫族化合物器件被用0.25V振幅的正弦电压在100赫兹下驱动。B)来自密歇根大学的Ag-Si器件被用具有1.8V振幅、1.8V的直流偏移和0.5Hz的频率的三角波来驱动。

图2A-2B分别图解说明了曲线图120和122，曲线图120和122论证了我们MSS模型和两个器件之间的相关性。为了解释说明Ag-Si器件上的磁滞回线的非线性，我们将MSS模型扩展到包括A状态和B状态的动态电导。它是电压的函数而不是对于两个状态为恒定的电导的函数，就是说，它显示二极管样特性。为了给电导一种非线性行为，我们用二阶多项式函数代替方程式7中的w_A和w_B：

w＝a+bV+cV²(8)

其中，V是器件两端的瞬时电压以及调整参数a、b和c以使模型适合硬件数据。

差分忆阻器突触

当大多数神经形态计算研究集中在利用单一的忆阻器的突触样行为时，我们却已经发现它对通过差分对忆阻器实施突触权有用得多。第一，差分对提供自动校准从而使突触不受器件不均一的影响。第二，包含有突触权重的大多数机器学习模型把权重当作兼具符号和大小。单独的忆阻器不能实现此功能。差分对忆阻器形成的突触被图3示出，根据所公开的实施方式的方面，图3图解说明了描绘形成突触的差分对忆阻器M1和M2的示意图130。

典型地，突触由单个忆阻器代表。然而，我们使用差分对忆阻器作为这个，这样允许突触兼具符号和大小。M1和M2形成分压器，从而引起y处的电压为V的某些部分。忆阻器对在基态自动平衡本身，从而防止器件不均匀而产生的问题。

阅读阶段-反赫布

阅读电压V的施加将损害突触状态。例如，如果M1的电导大于M2的，那么输出电压y将大于V/2。在施加电压V期间，忆阻器M1两端具有比M2较小的电压降。这引起M2的电导比M1的电导增加的更多，从而将输出y拉近到V/2。我们称这种在突触状态上的改变为反赫布，因为突触权重的改变将发生在这样的方向上以防止评估的下一个阅读操作为相同的状态，这与赫布学习是完全相反的。从另一个角度来看，在没有加固反馈的情况下，突触将会聚到随机二进制数发生器。注意，这个负反馈纯粹是被动的和固有易失的。阅读状态的动作通过将其拉近到热力学平衡来损害状态。如下所讨论的，这种特性非常有用。

写阶段-赫布

对于过度的经由状态的阅读行为造成的损害，我们可以(但不是必须地)将“奖赏”反馈到“胜利者”忆阻器。例如，如果在阅读阶段y>V/2，我们可以设定在一段时间内y＝0，这在保持M2的电导恒定的同时增加了M1的电导。由于它增强了突触状态，所以我们称这种在突触状态内的改变为赫布。反馈被施加的时间越长，突触权重被加强的越多。虽然我们可使这种反馈模块化，但是为了我们的目的，在此我们可以将这种更新认为是以离散的“全部或什么也没有”的数量发生。

衰减阶段-标准化

在读和写阶段，忆阻器的电导正在增加。在某些点上，它们将达到饱和处于它们最大的传导状态，突触差将达到零且突触将变得毫无用处。为了防止饱和，我们必须在两个忆阻器间施加大小相同的反向电势并持续一段时间。这种程序以与它的初始值成比例地减少了两个忆阻器的电导，从而防止饱和同时保留突触状态。注意，这种操作也可通过经由延长的“休眠期”的自然衰减发生。然而，我们已经发现，推动这种衰减的能力是有利的，因为它既可以防止对于延长的休息期的需要而且还除去了在自然衰变率和处理的时间尺度之间的连接。然而值得注意的是，能效最高的配置是这样一种情况，在这种情况下，由于通过自然衰减率平衡了读和写阶段，积累了电导。

AHaH规则

反赫布和赫布(AHaH)可塑性可通过两阶段过程实现：读和写。衰减阶段仅仅是一种保持忆阻器避开它们的饱和状态的实际需要。分解出衰减操作，读和写更新的简单功能模型可以被写成为：

□w_i＝□sign(s)□□y+□(9)

其中，s是监控信号，α和β是常数，η是热力学噪声，w_i是i^th尖峰突触，以及y是AHaH节点的突触激活，y被写成为：

其中，b是“节点偏置”。节点偏置可被认为是一种始终是激活的但从不接收赫布更新的输入：

□b＝□□y(11)

节点偏置可被看作是平均激活的减法。它的功能是便于AHaH节点找到平衡的吸引子状态并避免空状态(后述)。

监控信号s可以来自外源或它可以是AHaH节点的后突触激活，即s＝y。在后种情况下，节点是纯粹无监督的并减少至：

□w_i＝□sign(y)□□y+□(12)

电路实现

以上描述的AHaH节点可借助图4所示的电路140来实现，其中图4根据优选实施方式，示出了AHaH节点。也就是说，电路140可被实现为AHaH节点。在单个AHaH周期期间，长度N通过XN在输入X0上的二进制信号产生一种在输出上以V_y＝V_a-V_b的连续值信号。V_y可进一步借助导致单比特二进制输出的电压比较器(未示出)而被“数字化”。电机C在读操作期间是接地的并形成具有激活的X_i输入和节点偏置输入XB的分压器。信号S_a和S_b被用于调制和控制监督的或无监督的学习。

图4所示配置包括两个具有输出电压V_a和V_b的“半节点”。电机C在阅读操作期间是接地的并形成具有激活的Xi输入和节点偏置输入XB的分压器。在没有赫布反馈的情况下，Va和V_b将趋向Vdd/2。XB是节点偏置输入并且在读阶段总是激活的(Vdd)但从不接收赫布更新。如果是激活的，则输入X0到XN被设置为Vdd，否则靠左浮动。应注意其它的AHaH节点配置是可能的。

在写阶段期间，可采用压控电压源(VCVS)以调制赫布反馈。在应用赫布反馈期间，电极a或者电极b接地，其由或者(被监督的)外部信号S或者(无监督的)电极a和b间的差分电压所决定。

衰减是通过将电极a和b上的电压升至Vdd同时将激活的输入以及电极C和XB接地来完成的。C和XB在写阶段是靠左浮动的。AHaH节点的输出是V_y＝V_a-V_b，且这种输出能被数字化为带有电压比较器(未示出)的逻辑1或者逻辑0。“大图”就是，在单一AHaH周期期间，具有k驱动输入(“尖峰”)和N-k浮动输入的长度N的二进制输入在输出处被转化为逻辑1或逻辑0。

回顾可经由读-写-衰变的三阶段过程来实现AHaH规则。通过改变这些阶段的脉冲占空比和相对持续时间，AHaH的形状能得到改变(见图5)。这相当于方程式12中的α和β参数的修正。这使得可应用于几乎任何机器-学习问题的单一通用的AHaH电路成为可能。

根据所公开的实施方式的方面，图5图解说明曲线图150。该曲线图150描绘了表明产生自AHaH节点的AHaH规则的数据。图5中的实线代表方程式12所描述的功能的AHaH规则。方块代表给定y的符号和大小时所施加的赫布反馈(Δw)，即AHaH节点的输出。AHaH规则可通过调谐读和写阶段的占空比来从外部得到调整。通过能够以这种方式从外部调整突触反馈，在不需要定制的芯片的情况下，电路可被重复用于若干不同的机器-学习应用。

作为逻辑函数的AHaH吸引子状态

根据所公开的实施方式的方面，图6A-6B图解说明一种描绘双输入AHaH节点的吸引子状态的输入空间图152和曲线图154。AHaH规则自然地形成使数据分布之间的边际最大化的决策边界。这很容易显现在两个维度上，但它对于任何数量的输入是同样有效的。A)输入空间：吸引子状态由决策边界A、B和C代表。B)权重空间：例如，带有Ag-硫族化合物忆阻器的双输入AHaH节点的模拟结果。从图6所示的数据中可以清楚看到权重从随机正常初始化到吸引盆的演变。

让我们分析最简单的可能的AHaH节点：一个节点仅具有两个输入。四种可能的输入模式为：

[x₀，x₁]＝[0，0]，[0，1]，[1，0]，[1，1](13)

当遍及所有权重更新的总数为零时，可能发生稳定的突触状态。在这种简单的情况下，用代数方法导出稳定的突触权重是简单直接的。然而，我们已经发现吸引子状态的几何解释在概念上更加有用。我们能在与产生它的数据相同的图上绘制AHaH节点的稳定的决策边界(求解y＝0)。这可在输入空间图152中被看到，其中我们已经标记决策边界A、B和C。AHaH规则可被看作为试图使相反数据分布之间的“边际最大化”的局部更新规则。由于“正”分布将决策边界推离它(使得权重更加为正的)，正更新的幅度减小而相反的负更新的幅度增加。净结果是，当决策边界能干净地使数据分布分离时，强烈的吸引子状态存在，且y的输出分布变成双模态。

由于对于每个稳定的决策边界存在两个解，因此被绘制在输入空间图152上的每个决策边界代表状态和它的反状态。使用我们定制的模拟仿真引擎MemSim(www.xeiam.com)，我们模拟带有Ag-硫族化合物忆阻器的双输入AHaH节点。在该例子中，150AHaH节点通过利用随机初始化突触权重来被模拟并被给予随机选自集{[1,0]，[0,1]，和[1,1]}的1000个输入的流。如图6的曲线图154所示，AHaH节点落入六个吸引盆中的一个。

吸引子状态A、B和C可被看作逻辑函数。这可以在样本真值表中看出(下面的表1)。作为一个例子，突触状态(SS)A对应于逻辑函数8。有趣的是，不能得到逻辑函数0-7，除非我们添加一种输入偏置，其中该输入偏置是一种始终激活的输入并且接收赫布更新。这在机器学习中是一种标准程序。非线性逻辑函数9和6对应于“异或”(“XOR”)逻辑函数和它的补码。异或逻辑函数可通过二级电路得到。

表1作为逻辑函数的吸引子状态

对于每个输入模式[X0,X1]，每个突触状态(SS)对应于一种逻辑函数(LF)。

SS	A’				B’	C’					C	B				A
																	LF	0	1	2	3	4	5	6	7	8	9	10	11	12	13	14	15
X₀,X₁＝0,0	1	1	1	1	1	1	1	1	0	0	0	0	0	0	0	0
																	X₀,X₁＝0,1	1	1	1	1	0	0	0	0	1	1	1	1	0	0	0	0
X₀,X₁＝1,0	1	1	0	0	1	1	0	0	1	1	0	0	1	1	0	0
																	X₀,X₁＝1,1	1	0	1	0	1	0	1	0	1	0	1	0	1	0	1	0

我们把A状态以及所有的高阶推广称作空状态。对于每个模式，当AHaH节点将相同的权重值分配到每个突触和为每个模式输出a+1或a-1时，空状态发生。空状态在计算上是无用的，且它的占用可被节点偏置抑制。

AHaH吸引子状态在两种情况下在计算上是完成的：1)包含输入偏置或2)使用“提取”逻辑门或阈值(例如NAND门)。这一结果表明，任何算法可在理论上由占用其吸引子状态的AHaH节点的集合体引起。这在大的自组织电路上具有含义。一旦赫布反馈被移除，由一个或多个AHaH节点形成的易失性逻辑门能自配置，而不是不得不耗费能量来克服势垒以配置非易失性逻辑门。一旦发现更好的解，赫布反馈可被应用且该解可被稳定。

自适应尖峰编码

虽然AHaH规则可以容易地被扩展到实值输入，但是通信模拟数据表示在超大规模集成电路(VLSI)上是困难的或不切实际的。因为这个原因，结合生物学已经看中了一种稀疏尖峰表示的观察，我们的方法需要将输入数据转换成一种稀疏尖峰表示。这种表示要求，活动模式由一小组的激活输入自一大得多的组的潜在输入中离开来表示。用于产生这样一种编码的简单递归方法可经由二元决策树通过严格的反赫布学习实现。核心AHaH节点电路可被用于做这种编码。

从根节点开始并继续到叶节点，输入x和节点偏置b被求和，y＝x+b。根据结果y的符号，它被路由在一个方向上或朝向叶节点的另一个方向上。根据反赫布学习，更新节点偏置，实际的结果是一种自适应平均值的减法：

□b＝□□y+□(14)

从根节点到叶的节点的ID可然后被用来作为一种稀疏尖峰代码。注意，根节点变成一种输入偏置，而每个分叉的添加量变成一种细粒度自适应二进制(bin)。这种过程是一种自适应模拟到数字转换。注意，方程式14可通过设定α＝0由方程式9得到。如果为如下情况，那么这种自适应分级程序可以很容易地被扩展到稀疏尖峰编码模式：

其中，w_i拾取自具有零均值的随机分布。

AHaH聚类器(Clusterer)

聚类是知识发现的一种方法，它以无监督的方式自动地试图发现数据中的隐藏结构。以聚类方法(像k-means算法)为基础的矩心需要使用者提前定义聚类中心的数目。在没有预先定义聚类中心的情况下，可使用基于密度的方法，但如果聚类是各种各样的密度，该方法可能失败。方法(像OPTICS)试图处理一些可变密度的问题，但引入了他们期望某种密度下降的问题，从而导致任意的聚类边界。

在由已知聚类分布的混合组成的数据集中，基于分布的方法(如EM聚类)表现优于基于密度的聚类算法。然而，EM聚类假定数据是已知分布的混合且正因如此不能够以基于密度的聚类为模型。它进一步倾向于过度拟合。

AHaH节点会聚到吸引子状态，该吸引子状态干净地将它的输入空间和我的使在相反数据分布之间的边际最大化分区。该组AHaH吸引子状态进一步在计算上是完成的。这两种性能使AHaH节点集合体能够将独一无二的标签分配到独一无二的输入数据分布。如果AHaH节点集合体被允许随机落入吸引子状态，那么来自该集合体的二进制输出向量充当输入特征的标签。我们将这样的集合体叫做AHaH聚类器。

聚散度

我们已经开发出一种定量的度量来表征我们的AHaH聚类器的性能。考虑到独一无二的特征F，我们将理想地喜欢独一无二的标签L(F→L)。这由于噪声、遮挡、和非静态数据或漂移的存在而复杂。失败可能以两种方式发生。第一，如果相同的基础模式被赋予不止一个标签，我们可以说AHaH聚类器是发散的。我们测量发散度D，作为每个模式平均标签的反向。第二，如果两个不同的模式被赋予相同的标签，我们可以说它是会聚的。我们测量会聚度C，作为每个模式平均标签的反向。

发散度和会聚度可被结合以形成复合测量，我们称为聚散度，V。

V = \frac{D + C}{2} - - - (16)

在聚散度为1下将发生完美的聚类提取。

集合体分区概率

来自AHaH集合体的可能的输出标签的总数是2^N，其中，N是集合体中AHaH节点的数目。如果N是小的和/或模式的数目F是高的，那么对于不同的特征，集合体可以输出相同的标签。然而，当AHaH节点的数目增加时，发生这种情况的概率以指数方式下降。在假定所有的吸引子状态是等可能的情况下，任意两个特征将被分配相同的二进制标签的可能性如下：

P = \frac{1}{2^{N}} + \frac{2}{2^{N}} + ... + \frac{F}{2^{N}} = \frac{F^{2} + F}{2^{N + 1}} - - - (17)

例如，假定64个特征和16个AHaH节点，两个AHaH节点被分配到相同标签的概率是3％并且通过使N增加到32，此概率将到小于百万分之一。对于给定的应用，使用以上规则，可确定AHaH节点的最佳数目。

聚类器结果

为了测试如同通过我们的聚散度度量测量的AHaH聚类器的性能，由尖峰编码特征组成的随机合成数据集被生成。为了研究节点偏置的影响，我们调整它的独立学习速率并将它设定为γ，同时我们设定λ＝α＝β。

□w_i＝□(sign(y)□y)+□(18)

□b＝□□y

当γ太小时，节点偏置不能阻止AHaH节点落入空状态。随着越来越多的节点落入空状态内，AHaH聚类器开始将相同的标签分配到每个模式，从而导致会聚度下降。另一方面，将γ增加得太高引起分散度的下降。节点偏置正在强迫每个AHaH节点选择使它的空间分叉的吸引子状态。然而，不是所有的吸引子状态平等地使空间分叉。如果γ不太高，它允许这些非对称状态，从而导致近-最佳分区。然而，随着γ的增加，节点偏置的影响使决策边界偏斜远离最佳分区。结果是更高的分散度。

我们独立地扫描了若干个参数以调查研究AHaH聚类器的稳健性。下面的表2总结了这些结果。

表2AHaH聚类器扫描结果

(当扫描每个参数并保持其它参数恒定在默认值上时，报告的范围在聚散度保持大于90％处。)

在聚散度下降之前可由AHaH聚类器区分的模式的数目是模式稀疏度和模式噪声的函数。噪声由取随机输入行并激活它们来生成，或者如果该输入行已经是激活的，则去活它来生成。对于3％的稀疏度(32/1024)和对于6％的噪声(每32个模式尖峰有2个噪声尖峰)，在聚散度下降到低于95％之前，AHaH聚类器能将230个32-尖峰模式区分开。

AHaH聚类器的性能对于噪声是稳健的。例如，在100％模式负载下(32个32-尖峰模式)，我们能达到完美的性能直到30％噪声。

使用MemSim，我们执行AHaH聚类器的电路模拟，该AHaH聚类器由10个AHaH节点、16个输入和N个4-比特模式形成。如图7所示，我们的结果显示随着尖峰模式数目的增加，预期聚散度下降，以及电路模拟显示和功能模拟的一致。

根据所公开的实施方式的方面，图7图解了描绘数据的曲线图170，该数据表明包括如电路级和功能模拟的AHAH聚类器。图7的曲线图170描绘了由六个AHaH节点和16个输入线形成的AHaH聚类器的电路级和功能模拟结果。长度4-比特的独特特征的数目通过从1到20被扫描且其聚散度被测量。这些结果论证了在AHaH聚类器的我们的高级功能模型和使用忆阻器的硬件实现之间的一致。

当与稀疏尖峰编码器配对时，AHaH聚类器看起来遍及聚类类型的谱执行良好。为了论证这个，我们采取了各种二维聚类分布并将它们供给进入我们用作为稀疏编码器的k近邻算法(k-nearestneighboralgorithm)里。总共512个中心的最佳匹配32个中心的ID被供给进入AHaH聚类器，该AHaH聚类器将独一无二的标签分配到输入。每个独一无二的标签能被映射到独一无二的颜色或其它表示。如图8的曲线图180、182、184所看到的，对于各种尺寸和数目的聚类以及非高斯聚类，这种方法执行良好。图8所示聚类任务的视频文件能在在线支持信息部分被观察(视频文件S1-S4)。

根据所公开的实施方式的方面，通常，图8图解了表明二维空间聚类论证的曲线图180、182、184。图8论证了所公开的实施方式的AHaH聚类器在不同的二维空间聚类类型的广泛范围上执行良好，所有没有预先定义聚类的数目或预期聚类的类型：A)高斯、B)非高斯、C)随机高斯的大小和位置。

AHaH分类器

线性分类是被用在机器学习领域以表征并将标签应用到对象的一种工具。最先进的分类的方法包括算法(如Logistic回归、决策树、支持向量机(SVM)和朴素贝叶斯)并被用在真实世界的应用(如图像识别、数据挖掘、垃圾邮件过滤、语音识别和欺诈检测)上。我们的基于AHaH的线性分类器不同于这些技术主要在于这不仅仅是另一个算法；它可以被实现为一种物理上地自适应电路。这呈现了若干竞争优势；主要的是这样的设备将显著地增加速度并降低能量功耗同时消除与在大尺度数据挖掘应用中经历的磁盘I/O瓶颈有关的问题。

AHaH分类器可包括若干AHaH节点，各自被分配到分类标签并各自操作方程式9的AHaH规则的监督形式。在监控信号不可用的情况下，(方程式12的)规则的无监督形式可被使用。更高的节点激活(y)被解释为一种更高的置信度。根据情况，有多种方式来解释分类器的输出。第一，一个方式能命令所有的节点激活并选择最正的。当每个模式仅一个标签被需要并且输出必须总是被生成时，这种方法是理想的。第二，一个方式能选择超过激活值阈值的所有标签。当对于每个输入模式存在多个标签时，这种方法可被使用。最后，如果它超过阈值，仅选择最正的，否则不返回任何值。当每个模式仅需要一个标签，但模式拒绝被允许时，这种方法可被使用。

所有输入可被转化成一种稀疏尖峰表示。使用方程式14的自适应分级方法来转化连续值输入。文本被转化为词汇袋(bag-of-words)表示，其中，每个单词代表一种尖峰。使用方程式15的方法，对于MNIST手写字符数据集的图像块被转化为一种尖峰表示，其中，原始像素值的索引被用作为一种尖峰输入。每个图像通过标准的卷积+池化方法然后被转化为一种尖峰表示，该标准的卷积+池化方法具有尺寸8×8的图像块和8×8像素的池化大小。

为了把AHaH分类器比作艺术分类算法的其它状态，我们选择四种流行的分类器基准数据集：威斯康星乳腺癌(BreastCancerWisconsin)数据集、人口普查收入(CensusIncome)数据集、MNIST手写数字(MNISTHandwrittenDigits)数据集和路透社-21578(Reuters-21578)数据集，它们代表不同范围的挑战。我们的基准结果，连同来自其它已出版的使用它们各自的分类方法的研究的结果一起，被示出在表3内。表3所示出的我们的得分是对于由我们的分类器产生的峰F1得分。

如图9所看到的，典型于所有的基准数据集，当置信度阈值增加时，精密度增加而回忆下降，根据所公开的实施方式的方面，该图阐明了描绘举例测试分类基准结果的曲线图19。图9一般地阐明路透社-21578文本分类基准结果。使用在路透社-21578数据集中与新闻文章有关的十大最常见的标签，AHaH分类器的精确度、精密度、回忆和F1得分被确定为它的置信度阈值的函数。当置信度阈值增加时，精密度增加而回忆下降。最佳置信度阈值可根据期望的结果被选择，并且它可以甚至被动态地改变。

表3基准分类结果

(AHaH分类器结果是对于在已出版的测试数据集上的峰F1得分且有利地与其它方法比较。)

通过激起方程式12，AHaH分类器也能够无监督学习。如果无监督标签被给予但分类器能够输出带有高置信度的标签，输出可被认为是正确的且被用作为监督信号。结果是继续会聚进入吸引盆，该吸引盆代表最大边际点。这在大量无标签数据存在的情况下的任何领域中(例如，如在图像识别中)有应用。通过允许分类器处理这些无标签的示例，它能继续提高。为了论证这种能力，我们使用路透社-21578数据集。结果被示出在图10，图10清楚地示出在监督学习被切断之后的继续提高。

根据所公开的实施方式的方面，图10图解了描绘数据的曲线图200，该数据表明AHaH分类器的半监督操作。从T＝0到T＝4257，分类器经由方程式9在监督模式下被操作。从T＝4258向前，分类器经由方程式12在无监督模式被操作。置信度阈值0.95被设定为赫布学习的无监督应用。这些结果论证AHaH分类器在没有监督反馈的情况下能够持续地提高它的性能。

我们的分类结果与已出版的基准相比较好，并一贯地匹配或超过SVM性能。考虑到这种方法的简单性，我们发现这是令人惊讶的，该方法相当于只不过是简单的稀疏尖峰编码技术，随后用独立AHaH节点分类。AHaH分类器显示许多所希望的性能。它好像是最佳增量学习者，它可以处理多类标签，它能够无监督适应，它对缺失数据、噪音是容忍的并可通过稀疏-尖峰编码处理混合数据类型。我们也已观察到对过度拟合卓越的忍耐性。

存在于表3中的基准数据集中的大多数对于这时在MemSim中的电路模拟来说太大。然而，威斯康星乳腺癌数据集是足够小的，足以以电路级模拟，并相比于功能级结果。有183个测试数据点，随后是500个训练数据点。电路级模拟产生98.9％的分类速率，其与功能模拟相比毫不逊色。

复信号预测

通过把信号预测假扮成多标签分类问题，我们可以获悉复杂的时间序列。对于每个时刻，使用方程式14的方法，我们将实值信号S(t)转化成稀疏尖峰表示F(S(t-N))。我们暂时缓冲这些特征以形成特征集：

现在我们可以使用这种特征集对当前特征激活F(S(t))做出预测，其中，分类器正将独一无二的标签分配到每个尖峰。学习后，输出预测可代替实际输入被使用并在时间上递归地向前运行。通过这种方式，关于特征的扩展预测是可能的。在图11中可看到一个示例。

根据所公开的实施方式的方面，图11图解了曲线图300，该曲线图300描绘了带有AHaH分类器的复信号预测。通过把预测假扮成多标签分类问题，AHaH分类器可获悉复杂的暂时波形并通过递归式做出扩展预测。

AHaH电动机控制器

根据所公开的实施方式的方面，图12A-12B图解了无监督机器人臂挑战的图表400和描绘其数据的曲线图402。机器人臂挑战(见图12的图表400)涉及移动捕获目标的多关节机器人臂。仅仅使用来自机器人“眼”的值信号和在闭环配置中的小集合AHaH节点，机器人臂捕获静止的和移动的目标。随着对于AHaH引导驱动手臂关节数目的增加，被要求捕获目标的平均总关节驱动保持不变，这由曲线图402来表明。对于随机驱动，所需的驱动呈指数增长。

在AHaH周期的写阶段期间的稳定的赫布反馈在读操作之后随时可能发生。这打开了使用它用来基于强化的学习的可能性。这里，我们示出小集合的AHaH节点可被使用以引导多关节机器人臂到基于值信号的目标。

我们创建机器人臂虚拟环境，在该环境内，AHaH节点集合控制连接固定长度棒的N的角度，以便与目标接触(见图表400)。图表400所示臂搁在平面上，其中该平面的基部固定在中心，且所有关节具有360度自由旋转。在机器人臂捕获目标之后，新的目标在机器人臂的到达半径内被随机丢弃。机器人臂虚拟环境是一种叫Proprioceptron(www.xeiam.com)的开源项目的一部分。

通过对从目标被定位的时间直到捕获的最小增量关节驱动的数目求和，我们测量在抓住目标上的臂效率。当关节的数目增加时，对性能与随机驱动器进行比较。结果被示出在图12B的图表402内。

传感器能测量机器人臂的每个部分的相对关节角度以及从目标球到位于臂的“头”的侧面的两只“眼睛”中的每个的距离。使用方程式14的方法，传感器测量值被转化成稀疏尖峰表示。值信号可被计算为头到目标的反距离：

V＝1/1+d(20)

反向“肌肉”驱动每个关节。每块肌肉由许多“纤维”形成且单个AHaH节点控制每一个纤维。每个关节被移动的增量步的数目△J由如下公式给出：

其中，是i^thAHaH节点的后突触激活，i^thAHaH节点控制主要肌肉的i^th肌肉纤维，和是i^thAHaH节点的后突触激活，i^thAHaH节点控制反向肌肉的i^th肌肉纤维，以及H(y)是海维塞德(Heaviside)单位阶梯函数。在每个时间步上被移动的增量步的数目然后由这两个值的差给出。

我们开发多种方法，以将有益的赫布反馈给AHaH节点。如果反馈应被给予，最有效的方法考虑每块肌肉相对于肌肉群的状态以特定地确定。考虑到运动，我们可说是否纤维行动利于或反对运动。如果我们知道运动增加或降低在稍后时间的值，我们可特定地确定是否每个AHaH节点应该接收赫布反馈。例如，如果纤维行动支持运动且以后的值下降，那么我们可以说纤维犯了错误并否认它的赫布更新。虽然一般地对于大范围值，好的性能被观察，但是实验观察导致恒定值α＝0.1和β＝0.5。

我们的结果似乎论证了AHaH节点集合正执行值函数的梯度下降并能快速地将臂引导到目标。

AHaH组合优化器

如果赫布反馈被扣留，则AHaH节点将落进概率性输出状态。当突触权重的大小降到接近零时，热力学状态转换将发生的可能性从约0％升高到50％。该特性可以在概率性研究和最优化任务中被利用。在考虑组合优化任务(如旅行推销员问题)的情况下，我们已经将城市路径编码为二进制向量P＝[b₀，b₁，…，b_N]。所有可能的路径的空间可以被可视化为深度N的二叉树的叶。构造路径的行动可被看作为从主干到叶地穿越树的路由程序。通过允许之前试图的解来修改路由概率，初始均匀的路由分布可以折叠成更最优解的子空间。

这可通过利用具有单一输入的AHaH节点作为虚拟路由树内的节点来实现。作为从主干到叶的路由进展，每个AHaH节点被评估其状态并接收反赫布更新。路由应该导致一种比平均解更好的解，所有顺着路由路径的节点接收赫布更新。通过一遍又一遍地重复程序，正反馈循环被创建以便更优的路由导致更高的路由概率，反之，导致更优的路由。当路径被锁定时，净效应是一种路由概率从树干到叶的崩溃。该过程直观地与寻找到地面的路径的雷击的形成相似，正因如此我们把它叫做“攻击”。

为了将攻击评估为组合优化的方法，我们构造AHaH节点的递归分形树并设定在方程式9中α＝β＝学习速率。噪音变量η拾取自均值为零和方差为0.025的随机高斯分布。在每10000个解决方案的尝试之后，具有小于0.01的突触权重大小的分支被修剪。

根据所公开的实施方式的方面，图13A-13C图解曲线图500、502、404，这些曲线图描绘表明了64-城市旅行推销员挑战的数据。通过将单一输入AHaH节点用作路由树上的节点，组合优化问题(如旅行推销员问题)可在硬件上解决。该解决方案的速度和质量可通过调整驱动AHaH节点的读阶段和写阶段的忙闲度来得到控制。曲线图500表明最大的解决方案的值V(越高越好)作为解决方案尝试的数目的函数。曲线图502表明更低的学习速率导致更好的解。曲线图504表明更低的学习速率增加会聚时间。

我们构造64-城市旅行推销员问题，其中，每个城市直接地连接到每一个其它城市且城市坐标拾取自均值为零和方差为一的随机高斯分布。城市路径被编码为比特序列以便第一城市被编码为6比特，以及每个连续的具有仅仅一样多的比特的城市被需要以解决剩余的城市以便第二至最后城市需要一个比特。该解决方案的值被计算为V＝1/d，其中d是总路径长度。

在50000次尝试之后或者当相同的解决方案被连续10次生成时，攻击过程被终止。随机搜索被用作控制，其中，每个新的解决方案尝试被拾取自均匀随机分布。这通过设定α＝0来实现。结果由图13A-13C的曲线图500、502和504总结。当学习速率下降时，解决方案的质量增加，但需要花更长时间聚合。解决方案的质量优越于随机搜索，从而表明攻击正在执行定向搜索。

为了加快搜索算法，攻击似乎是一种相对通用的方法。例如，我们可以很容易地将攻击路径编码为一种对城市列表进行重新排序而不是绝对排序的相对程序。例如，我们可以以指数“A”和“B”交换城市，然后以指数“C”和“D”交换城市，等等。进一步地，我们可以以递归方式利用攻击程序。例如，在旅行销售员问题的情况下我们可以分配“低级别”攻击以找到最优子路径以及分配高阶攻击以集合来自子路径的更高路径。

我们的工作已经论证经由简单的反赫布和赫布构造块从亚稳开关到宽范围的机器学习能力的路径。

我们已经表明忆阻器件可由亚稳开关引起，差分突触权重如何可以由两个或更多个忆阻器建造成，以及AHaH节点如何可以由两个差分突触数组建造成。简单的读/写/延迟周期驱动AHaH节点电路导致物理器件实施AHaH规则。我们已经论证AHaH规则的吸引子状态在计算上是完整的逻辑函数并已经表明它们在如下方面的使用：尖峰编码、监督和无监督分类、聚类、复信号预测、无监督机器人臂驱动和组合优化。我们已经论证无监督聚类和监督分类在硬件模拟上使用现有的忆阻器件的准确模型。我们进一步表明在我们的硬件模拟和简单的数学功能模型之间的一致。

我们可从我们的结果中推断其它能力显然是可能的。例如，异常检测与预测并进而行。如果关于暂时动态信号的预测能被做出，那么异常信号能被容易地生成，预测应该与现实不相符。追踪非静态统计数值也是AHaH规则的吸引子状态的自然副产品。AHaH规则的吸引点由数据结构创建。它逻辑地遵循这些相同的状态将转变作为信息变化的结构。它也遵循锁在吸引子状态的部件的系统建造如果受损的话将自发地愈合。在以前的工作中，我们已经论证了这个，但是应强调的是自修复是分散的自组织的副产品。如果一种系统能自我建造，那么它能自我修复。

新兴的方法(如深的特征学习)当前在机器学习社区正越来越受欢迎。这些方法建造以无监督方法(如自动编码器)的迭代应用为基础的多层表示。结合AHaH聚类器，稀疏尖峰编码能够无监督特征提取以及当然可以被堆叠以形成更高级的表示。AHaH分类器可以进一步被用作自动编码器，其中输入尖峰变为标签。

这是一种令人兴奋的可能的事，因为谷歌^TM最近就YouTube^TM图像数据深入地训练学习者的工作大致使准确性从先前尝试加倍。然而，这个结果伴随惊世骇俗的数目一起发生。这种努力花费16000核数组，以满负荷工作3天。模型包含十亿连接，相比于生物，虽然这看起来似乎令人印象深刻的相形见绌。普通人新皮质包含150万亿个连接且新皮质中突触的数目是大脑中的连接的总数目的一小部分。以每核20W，谷歌的模拟消耗大约320kW。在完美比例下，人类规模的新皮质模拟将已消耗48GW。

值得从远景看待以上数字。在这个时候世界上最大的发电厂是具有22.5GW能力的中国的三峡大坝。为需要模拟人类大脑一部分的电脑供电将耗费两个以上这样的设施。48GW是一个重大的问题。具有数十亿个晶体管的电路是可能的，这不是因为晶体管是复杂的，而是因为它们是简单的。如果我们希望建立具有数以千兆计的自适应突触的大尺度自适应神经形态处理器，那么我们必须必要地以简单且强健的构造块为开始。

如同我们在本文已经论证的，AHaH节点可以提供给我们这样的构造块。真正地，我们希望我们的工作论证，被需要以使感知成为可能的功能(聚类、分类)、计划(组合优化、预测)、控制(机器人驱动)和一般计算(通用逻辑)连同简单电路是可能的，其中该电路不仅仅容忍而是实际上需要易失性和噪音。

生物已经从易失神经部件进化为智能生物，其具有成功驾驶并使自己适应不断改变的环境的能力，以寻找并消耗被用于维持并繁殖生命的能量。生物体能考虑到有限的能量预算来做它们所做的这一事实是进一步令人震惊的。在计算上的进步、机器学习、和人工智能未能甚至接近自然界已经设置的棒。因此，我们相信需要发明一种完全新的以生物的易失低功率解决方案为基础的计算方法。此处提出来的研究具有一种这样的方法，该方法避免阻碍当前基于冯·诺依曼系统的障碍。忆阻电路最近的外观现已经使添加突触样电子元件以建立硅集成器件成为可能，从而为这种新型计算铺平道路。

我们对于忆阻器的亚稳开关模型能被用于做模型，例如，两个物理器件：来自博伊西州立大学的Ag-硫族化合物(Ag-Chalcogenide)器件和来自密歇根大学的Ag-Si器件。自适应突触权重可由忆阻器差分对和反赫布及赫布可塑性形成。突触权重的差分数组被用于形成神经节点电路，神经节点电路的吸引子状态是形成一种计算上的完全集的逻辑函数。

进一步地，所公开的实施方式论证了一种路径，该路径从亚稳开关元件的低级模拟到忆阻器件、突触权重、神经节点、和最后高级机器学习功能(如尖峰编码、无监督聚类、监督和无监督分类、复信号预测、无监督机器人驱动、和组合优化)-所有的这些是生物神经系统以及具有现实世界应用的现代机器学习算法的核心能力。最后，所公开的实施方式论证了在忆阻器级硬件模拟上的无监督聚类和监督分类。

可以认识到，所公开的实施方式的一些方面可在硬件背景下被实施以及所公开的实施方式的其它方面可在软件背景下被实施。尽管如此，所公开的实施方式的其它实施可以构成硬件部件和软件部件的组合。例如，在一些实施方式中，在此讨论的忆阻器件可以通过物理部件(例如电子电路等)来实施，而这种忆阻器件的其它方面可以根据基于软件指令的计算机来操作。

如本领域技术人员可以理解的，所公开的实施方式可被实施为方法、数据处理系统、或计算机程序产品。相应地，实施方式可以采取如下形式：全部的硬件实现(如，见图16-17的IC960/突触部件962)、全部的软件实施方式或者将软件和硬件方面结合的实施方式(所有通常被称为“电路”或“模块”)。一些实施方式可在例如API(应用程序界面)的背景下被实施。

(在一些实施方式中)所公开的方法可以采取如下形式：在计算机可用存储媒体上的计算机程序产品具有被体现在介质上的计算机可用程序代码。任何合适的计算机可读媒体可以被利用，它们包括硬盘、USB闪存驱动器、DVD、CD-ROM、光存储设备、磁存储设备等。

用于执行本发明操作的计算机程序代码可以以面向对象的编程语言(如JAVA、C++等)来写。然而，用于执行本发明操作的计算机程序代码也可以以传统的程序编程语言(如“C”编程语言)或在视觉导向编程环境(如，例如visualbasic)下来写。

程序代码可以以下述方式来执行：完全地在用户的计算机或移动设备上，部分地在用户的计算机上(作为独立的软件包)，部分地在用户的计算机上和部分地在远程计算机上或者完全地在远程计算机上。在后者情况下，远程计算机，通过局域网(LAN)或者广域网(WAN)、无线数据网(如WiFi、WiMax、802.11x)和细胞网络，可连接到用户的计算机，或者经由大多数第三方支持的网络(如通过经由互联网服务提供商的互联网)，可连接到外部计算机。

根据本发明的实施方式，在此至少部分地参照方法、系统和计算机程序产品的曲线图和/或方块图以及数据结构，描述实施方式。应理解，插图的每个块和块的组合，可通过计算机程序指令来实施。这些计算机程序指令可被提供给通用计算机的处理器、专用计算机的处理器或其它可编程数据处理装置的处理器以生产机器，以便经由计算机的处理器或其它可编程数据处理装置的处理器来执行的指令，创建用于实施此处所讨论的块或若干块中详细说明的功能或动作的方式，如，例如，关于图1-13所示的各种指令和方法学。

这些计算机程序指令也可以以特定的方式被存储在一种可指导计算机或其它数据处理装置的计算机可读存储器内，以便被存储在计算机可读存储器内的指令生产制品，该制品包括实施在块或若干块中详细说明的功能/动作的指令方式。

计算机程序指令也可以被加载到计算机或其它可编程数据处理装置上，以引起一系列将要在计算机或其它可编程装置上执行的操作步骤，从而产生计算机实施过程，以便在计算机或其它可编程装置上执行的指令为实施在块或若干块上详细说明的功能/动作提供步骤。

图14-15被提供作为示例数据处理环境的图表，本发明的实施方式可在该环境下实施。可以认识到，对于所公开的实施方式的方面或实施方式可被实施的环境，图14-15仅仅是示例性的且不旨在声称或暗示任何限制。在不偏离所公开的实施方式的精神和范围的情况下，可以对所描绘的环境做出许多修改。

如图14所示，例如，一些实施方式可以在数据处理系统900的背景下实施，该数据处理系统900可包括，例如，中央处理器901(或其它处理器)、主内存902、输入/输出控制器903，以及在一些实施方式中，USB(通用串行总线)911或其它适当的外围连接。系统900也可包括键盘904、输入设备905(例如定向设备，如鼠标、轨迹球、笔设备等)、显示设备906和大容量存储器907(例如硬盘)。如图所示，数据处理系统900的各种部件可通过系统总线910或类似的架构电子通信。例如，系统总线910可以为子系统，该子系统例如在位于数据处理系统900内的计算机部件之间传输数据，或从其它数据处理设备、部件、计算机等传输数据到位于数据处理系统900内的计算机部件。数据处理系统900可以是，例如，台式个人计算机、服务器、无线手持设备(例如，智能手机、如iPad的台式计算设备、Android设备等)或其它类型的计算设备。

图15图解说明计算机软件系统950，其可被应用于指导图9描绘的数据处理系统900的操作。被存储在主内存902和大容量存储器907上的软件应用954，通常可包括和/或可与内核或操作系统951以及壳或界面953相关联。一个或多个应用程序，如模块(若干模块)952，可通过数据处理系统900被“加载”(即，从大容量存储907传输到主内存902)用于执行。在图15所示示例中，例如，模块952可被实施为一种模块，该模块执行对于图1-13此处所讨论和所示出的一个或多个逻辑指令或操作。在一些实施方式中，模块952可被实施为AHaH模块和/或API模块。

数据处理系统900可通过由用户949可访问的用户界面953来接收用户命令和数据。这些输入然后可以根据来自操作系统951和/或软件应用954以及其任一软件模块(若干模块)952的指令，由数据处理系统900来采取行动。

因此，此处的讨论旨在提供一种适当计算环境的简要、通用的说明，在该环境下，系统和方法可被实施。虽然不需要，但所公开的实施方式将在计算机可执行指令(如由单一计算机执行的程序模块)的通用背景下被描述。在大多数情况下，“模块”构成软件应用。

一般地，程序模块(例如，模块952)可包括，但不限于，例程、软件应用、程序、对象、部件、数据结构等，它们执行特别的任务或者实施特别的抽象数据类型和指令。此外，本领域技术人员将认识所公开的方法和系统可以与其它计算机系统配置(如，例如，手持设备、多元处理器系统、数据网络、基于微处理器的或可编程的消费性电子产品、联网的个人电脑、小型计算机、大型计算机、服务器等等)一起来实践。

注意，如此处使用的术语模型可以指物理设备(例如，集成电路、API块等)和/或例程与数据结构的集合，该例程和数据结构的集合执行特别的任务或实施特别的抽象数据类型。模块可由两部分组成：界面和实现，其中界面列表出可被其它模块或例程访问的常数、数据类型、变量和例程，实现是典型地私人的(仅仅访问该模块)且包括实际上实现模块内例程的源代码。术语模块也可以简单地指应用，如被设计成帮助执行特别任务(如模式识别、机器学习等)的计算机程序。

界面953(例如，图形用户界面)可服务于显示结果，用户可以在其上提供额外的输入或终止特别的对话。在一些实施方式中，操作系统951和界面953可在“视窗”系统的背景下被实现。当然，可理解，该其它类型的系统是潜在的。例如，其它操作系统(而不是传统的“视窗”系统)，如，例如，更通常地用在无线系统上的实时操作系统(RTOS)也可以相对于操作系统951和界面953被采用。软件应用954可包括，例如，模块952，模块952可包括用于执行步骤或逻辑操作的指令(如那些此处关于图1-13所示出和所描述的)。

图14-15因而旨在作为范例，而不是作为公开的实施方式的架构限制。此外，这样的实施方式不限于任何特别的应用或者计算或数据处理环境。取而代之的是，本领域的技术人员将认识公开的方法可有利地应用于各种系统和应用软件。而且，所公开的实施方式可在包括Macintosh、Unix、Linux等等的各种不同的计算平台上体现。因此，AHAH规则和其应用可在软件应用、软件模块等的背景下实现，或者作为与物理硬件设备相关联的软件本身上或者如图16-17所示的那样的系统。

图16-17图解突触部件模块962的替代实施例，该替代实施例可与电子集成电路(IC)960相关联和/或与电子集成电路(IC)960相集成。IC962可构成如此处关于图1-13所讨论和图解的基于忆阻器的通用机器学习构造块。这样的构造块或物理模块962(与软件模块相反)可与图16所示的IC960相集成或可与图17所示的IC960相关联。模块962因此起作为内存及处理设备的作用，该内存及处理设备可被实现为与如关于图14-15示出和讨论的软件应用相反的物理自适应硬件。

图16-17示出的配置虽然在物理IC芯片的背景下实现，但是也可实现与如图14-15示出的软件相关联。模块962可以为，例如，通用机器学习构造块电路，其包括差分对输出电极，其中每个电极包括一个或多个通过亚稳开关的集合(如在此前所讨论的MSS部件)耦合到其上的输入线。

注意，在一些实施方式中，带有突触部件962的IC960可代替如图14所示的处理器901和主内存902。在这样的示例中，IC960(其包括或与突触部件962相关联)可连接到图14所示的总线910，这是因为突触部件962同时包含此处讨论的处理器和内存功能。就是说，突触部件962可起到内存作为处理器以及处理器作为内存的作用。

突触部件962是基于忆阻器的通用机器学习构造块，该构造块可包括一个或多个亚稳开关，和差分对输出电极，其中在差分对输出电极中的每个电极可包括通过亚稳开关(若干开关)耦合到其上的一组输入线。突触部件962因此构成一种新型物理自适应硬件，内存和处理器在该硬件内合并。在IC实现中，如IC960，该IC960(包括突触部件962)可适于与计算设备一起使用，该计算设备包括，但不限于，智能手机、计算机、服务器、pad-计算设备等等。

基于上述，可认识到，在此公开了一些优选的和替代的实施方式。例如，在一个实施方式中，通用机器学习构造块装置可被实现，该装置包括，例如，一个或多个亚稳开关和一个或多个差分对输出电极，其中在差分对输出电极中的每个电极包括多个通过亚稳开关(或多个开关)耦合到其上的输入线。在一些实施方式中，亚稳开关可以是双状态元件。在一些实施方式中，双状态元件作为施加的偏置和温度的函数可在两个状态之间概率性地转换。

在另一实施方式中，至少一个AHAH节点可被实现。在另一实施方式中，至少一个AHaH节点起到根据AHaH规则使正类和负类之间的边际最大化的作用。在另一实施方式中，至少一个AHaH节点包括多个实现AHaH可塑性规则的线性神经元。仍在其它实施方式中，AHaH分类器可包括至少一个AHaH节点。在另一实施方式中，AHaH聚类器可被配置和提供，其包括至少一个AHaH节点。

在另一实施方式中，通用机器学习构造块方法可被实现，该方法包括，例如，配置至少一个亚稳开关和提供差分对的输出电极的步骤和逻辑操作，其中差分对输出电极中的每个电极包括通过至少一个亚稳开关耦合到其上的多个输入线，以产生基于忆阻器的通用机器学习构造块。在另一实施方式中，步骤和逻辑操作可被实现用于配置至少一个亚稳开关以包括双状态元件。

在另一实施方式中，机器学习方法可被实现，该方法包括得到多个实现AHaH可塑性规则的线性神经元的步骤或逻辑操作；并生成至少一个包括多个线性神经元的AHaH节点，其中该至少一个AHaH节点根据AHaH规则起到使正类和负类之间的边际最大化的作用。在另一实施方式中，步骤或逻辑操作可被实现，其包括含有该至少一个AHaH节点的AHaH分类器。仍在另一实施方式中，步骤或逻辑操作可被提供用于配置包括该至少一个AHaH节点的AHaH聚类器。

在另一实施方式中，机器学习系统可被实现，该系统包括，例如，使计算机程序代码具体化的计算机可用介质，该计算机程序代码包括可执行的并被配置用于如下方面的指令：得到多个实现AHaH可塑性规则的线性神经元；并生成至少一个包含多个线性神经元的AHaH节点，其中该至少一个AHaH节点根据AHaH规则起到使正类和负类之间的边际最大化的作用。在另一实施方式中，这种指令可进一步被配置用于提供或生成包括该至少一个AHaH节点的AHaH分类器。仍在另一实施方式中，这种指令可被进一步配置用于提供或生成包括该至少一个AHaH节点的AHaH聚类器。

应当理解，以上所公开和其它特征及功能的变型，或者其替代，可以希望地组合到许多其他不同的系统或应用中。另外，其中的各种目前无法预料的或无法预期的替代、修改、变型或改进可由本领域的技术人员随后做出，这些替代、修改、变型或改进也旨在由下列权利要求所涵盖。

Claims

1.一种通用机器学习构造块装置，所述装置包括：

至少一个亚稳开关；和

差分对输出电极，其中在所述差分对输出电极中的每个电极包括多个经由所述至少一个亚稳开关耦合到该电极的输入线。

2.权利要求1所述装置，其中所述至少一个亚稳开关包括双状态元件。

3.权利要求2所述装置，其中所述双状态元件作为施加的偏置和温度的函数概率性地在两个状态之间转换。

4.一种包括至少一个AHaH节点的装置。

5.权利要求4所述的装置，其中所述至少一个AHaH节点根据AHaH规则起作用以使正类和负类之间的边际最大化。

6.权利要求4所述的装置，其中所述至少一个AHaH节点包括多个实现AHaH可塑性规则的线性神经元。

7.权利要求4所述的装置，进一步包括AHaH分类器，该AHaH分类器包括所述至少一个AHaH节点。

8.权利要求4所述的装置，进一步包括AHaH聚类器，该AHaH聚类器包括所述至少一个AHaH节点。

9.一种通用机器学习构造块方法，包括：

配置至少一个亚稳开关；和

提供差分对输出电极，其中在所述差分对输出电极中的每个电极包括经由所述至少一个亚稳开关耦合到其上的多个输入线，以产生所述基于忆阻器的通用机器学习构造块。

10.权利要求9所述方法，进一步包括配置所述至少一个亚稳开关以包括双状态元件。

11.一种机器学习方法，包括：

得到多个实现AHaH可塑性规则的线性神经元；并

生成至少一个包括所述多个线性神经元的AHaH节点，其中所述至少一个AHaH节点根据AHaH规则起作用以使正类和负类之间的边际最大化。

12.权利要求11所述的方法，进一步包括提供包含所述至少一个AHaH节点的AHaH分类器。

13.权利要求11所述的方法，进一步包括配置包含所述至少一个AHaH节点的AHaH聚类器。

14.一种机器学习系统，包括：

一种包含计算机程序代码的计算机可用介质，该计算机程序代码包括可执行的并被配置用于如下方面的指令：

得到多个实现AHaH可塑性规则的线性神经元；并

生成至少一个包含所述多个线性神经元的AHaH节点，其中所述至少一个AHaH节点根据AHaH规则起作用以使正类和负类之间的边际最大化。

15.权利要求14所述的系统，其中所述指令进一步被配置用于提供包含所述至少一个AHaH节点的AHaH分类器。

16.权利要求14所述的系统，其中所述指令进一步被配置用于生成包含所述至少一个AHaH节点的AHaH聚类器。

17.一种存储代表指令的代码以引起一种机器学习过程的处理器可读介质，所述代码包括用于如下方面的代码：

得到多个实现AHaH可塑性规则的线性神经元；并

18.权利要求17所述的处理器可读介质，其中所述代码进一步包括生成包含所述至少一个AHaH节点的AHaH分类器的代码。

19.权利要求17所述的处理器可读介质，其中所述代码进一步包括生成包含所述至少一个AHaH节点的AHaH聚类器的代码。