CN101107618A - 用于实施机器智能和分级存储器系统的方法、架构和设备 - Google Patents

用于实施机器智能和分级存储器系统的方法、架构和设备 Download PDF

Info

Publication number
CN101107618A
CN101107618A CNA2005800422587A CN200580042258A CN101107618A CN 101107618 A CN101107618 A CN 101107618A CN A2005800422587 A CNA2005800422587 A CN A2005800422587A CN 200580042258 A CN200580042258 A CN 200580042258A CN 101107618 A CN101107618 A CN 101107618A
Authority
CN
China
Prior art keywords
pattern
module
processing units
sequence
cortical processing
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Pending
Application number
CNA2005800422587A
Other languages
English (en)
Inventor
杰弗里·霍金斯
迪利普·乔治
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Numenta Inc
Original Assignee
Numenta Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Numenta Inc filed Critical Numenta Inc
Publication of CN101107618A publication Critical patent/CN101107618A/zh
Pending legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N7/00—Computing arrangements based on specific mathematical models
    • G06N7/01—Probabilistic graphical models, e.g. probabilistic networks

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Theoretical Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Computing Systems (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Evolutionary Computation (AREA)
  • Artificial Intelligence (AREA)
  • Software Systems (AREA)
  • Mathematical Physics (AREA)
  • Biophysics (AREA)
  • Computational Linguistics (AREA)
  • Molecular Biology (AREA)
  • General Health & Medical Sciences (AREA)
  • Biomedical Technology (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Health & Medical Sciences (AREA)
  • Probability & Statistics with Applications (AREA)
  • Mathematical Analysis (AREA)
  • Computational Mathematics (AREA)
  • Algebra (AREA)
  • Mathematical Optimization (AREA)
  • Pure & Applied Mathematics (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)

Abstract

可通过创建具有分级架构的有效存储器系统来构造复杂的存储器系统和智能机器。具体来说，一种系统可包括布置成分级结构的多个个别皮层处理单元。每一个别皮层处理单元接收图案序列作为输入。每一皮层处理单元使用含有先前遇到的具有结构的序列的存储器来处理所述接收的输入图案序列，并输出另一图案。因为皮层处理单元处理若干输入序列，其将因此在其输出上产生图案序列。其输出上的所述图案序列可作为输入传递到所述分级的下一较高层中的一个或一个以上皮层处理单元。最低层的皮层处理单元可从外部世界接收感觉输入。所述感觉输入也包括图案序列。

Description

用于实施机器智能和分级存储器系统的方法、架构和设备
技术领域
本发明涉及存储器系统和机器智能的领域。特定来说，本发明揭示用于实施展现出机器智能的存储器系统的方法、设备和架构。
背景技术
人工智能(AI)领域已经存在超过五十年。从人工智能研究中已经产生许多有用的程序，例如专家系统、熟练的游戏程序和基于神经网络的图案匹配系统。由于现代计算机系统的显著的计算能力，所述程序中的许多程序可实现人类不可能相比的技能。然而，任何计算机程序都从未展示出甚至小孩的大脑所展现出的那种类型的理解。
有两种主要的人工智能研究流派：经典人工智能研究和神经网络研究。这两种主要的人工智能研究流派在如何解决尝试产生机器智能的问题上有所不同。两种流派的主要差别是这两种人工智能研究流派如何涉及关于人脑的已知信息。
经典人工智能支持者没有尝试考查或复制人脑运作的方式。经典人工智能的支持者尝试以不并入对人脑如何实际工作的任何基础理解的方式创建模仿基本人类行为或问题解决的程序。追随经典人工智能研究思想流派的人感到他们不应当受到自然界所发现的特定解决方案的限制。由于我们制造了并非以鸟类飞行的方式运作的飞行器而且我们制造了并非以猎豹奔跑的方式运作的快速的陆地行进器，因此这种思想流派得到一些共鸣。
为产生经典人工智能，程序员考查待解决的问题或待模仿的人类行为，并接着确定对于所述问题的算法解决方案。程序员接着在计算机软件中编码算法解决方案。经典人工智能程序的实例包含国际象棋程序和专家系统程序。这些程序分别使用由人类专家创建的算法解决方案和一组规则来解决复杂问题。然而，这些程序通常没有学习能力。这些程序只能处理已处理的单个问题。而且这些人工智能程序也不能基于并入此类程序的知识进行归纳，以便处理全新的输入数据。
神经网络支持者已尝试通过复制互连神经单元的运作来创建有限的智能系统。有一个大的知识主体，其描述个别的神经单元(神经元)如何操作和连接的神经元如何相互作用。神经网络支持者已基于此种关于神经元运作的知识建立称为“神经网络”的系统。因此，神经网络系统以类似于一组互连神经元的方式运作。神经网络研究者因此常称为“连接主义者”。神经元间连接强度称为突触权重，且用于存储学习到的知识。
在使用神经网络之前，必须首先用一组训练信息来训练神经网络。训练信息由具有相关输出向量的输入向量组成，所述输出向量被视为针对相关输入向量的正确输出。在训练期间，对神经网络中各种模拟神经元之间的连接进行调节，使得输入向量产生相关的输出向量(或紧密的近似)。
一旦训练完毕，便通过向神经网络提供一个新输入向量以产生输出向量来使用神经网络。通过适当的神经网络设计和充足的训练数据，神经网络应该能针对给定输入向量产生适当的输出向量。已证实神经网络在某些有限的应用中是有用的。
尽管关于神经网络已获得一些有限的成功，但多数神经网络系统是相对原始的。多数神经网络系统只是具有一组输入节点、一组中间节点(也称为“隐藏节点”)和一组输出节点的三层结构。尽管神经网络系统能够在很简单的意义上进行“学习”，并展现出有限的概括能力，但明显没有对现实的真正理解。神经网络系统仅仅产生将训练输入向量最佳映射到相关训练输出向量的内部函数。因此，神经网络仅能够通过将内部函数应用于新输入向量而以有限意义来进行归纳。
为了真正推动人工智能领域，将期望用于人工智能的新的范例。由于我们没有完全理解智能的本质，因此经典人工智能方法很可能已经失败。而且如果不理解智能的本质，如何期望在计算机程序中对智能进行编码？由于神经网络通常仅仿效相对少量的互连神经元且以忽略大脑的多数复杂解剖学的方式来进行，因此神经网络方法提供的结果非常有限。由于当前估计假定人脑的大脑皮层含有大约三百亿神经元，因此此类简单的神经网络将永远无法提供人脑展现出的真正智能。因此，为推进人工智能的技术现状，将期望从事一种可避免当前主要方法的问题的新方法。
发明内容
本发明提议通过构造具有分级架构的存储器系统来创建复杂的存储器系统和智能机器。具体来说，一种系统可包括布置成分级结构的多个个别皮层处理单元。每一个别皮层处理单元接收图案序列作为输入。每一皮层处理单元处理所述接收的输入图案序列，并输出另一图案。在皮层处理单元处理若干输入序列时，其将因此在其输出上产生图案序列。其输出上的所述图案序列可作为输入传递到所述分级的下一较高层中的一个或一个以上皮层处理单元。皮层处理单元的最低层可从外部世界接收感觉输入。所述感觉输入也包括图案序列。
每一个别皮层处理单元包含用于帮助处理输入上接收到的图案序列的存储器。所述存储器可包括先前遇到的含有结构的图案序列。如果遇到所述图案序列一次以上，那么将输入图案序列视为含有结构。个别皮层处理单元可使用存储的含有结构的图案序列，以便稍后“辨识”输入流中的这种具有结构的序列。
当皮层处理单元辨识出先前遇到的图案序列时，皮层处理单元可将此辨识报告给较高层皮层处理单元。对较高层皮层处理单元的输出可包括所辨识的图案序列的识别符。随着时间，含有所辨识序列的识别符的输出流本身包括图案序列。所述输出图案流可包括将由下一较高皮层处理单元层中的皮层处理单元以类似方式处理的输入。可将一个以上较低层皮层处理单元的输出连结在一起，使得连结的输出形成可处理的图案序列。
皮层处理单元也可使用记忆的图案序列，以便做出关于传入序列的预测，以便解决不明确的信息。具体来说，当皮层处理单元确定其当前正接收已知序列时，那么皮层处理单元可预测序列中将接收的下一图案。处理单元可使用预测来解释接收到的下一图案。举例来说，如果进入皮层处理单元的输入流是不明确的，那么所述皮层处理单元可使用预测图案来帮助识别下一输入图案。
皮层处理单元可进一步将预测的下一图案向下提供到下一较低皮层处理单元。较低皮层处理单元可将此解释为所述较低单元将遇到(且因此输出到较高层)的下一序列的预测。此预测信息可包括帮助较低皮层处理单元层正确识别下一序列的信息。
也可将预测信息视为对外部世界中将发生事情的有用预测。而且如果传入的图案明显不同于预测图案或者传入的图案序列明显不同于预测的图案序列，那么就存在预测失败。预测失败的发生可传输到较高层中的皮层处理单元。较高层中的皮层处理单元可能能够解决错误。可以用许多不同方法解决检测到的错误。解决错误的一种方法是通过存储新的图案序列来调整皮层分级的世界模型。
通过附图且通过以下详细描述中将明了本发明的其它目的、特征和优点。
附图说明
所属领域的技术人员根据以下详细描述将明了本发明的目的、特征和优点，其中：
图1说明大脑的与辨识形式和识别物体有关的视觉处理部分的概念图。
图2A说明用于图1的人类视觉处理系统的修正分级图。
图2B说明用于图1的人类视觉处理系统的替代分级图。
图2C说明具有局部预测反馈的图2A的替代分级图。
图2D说明具有从较高层传递到较低层的预测的图2A的替代分级图。
图3A说明由原型程序机器智能程序考虑的有限视觉世界中的像素栅格。
图3B说明图3A的像素栅格，其中像素栅格已被划分为每一者将被个别处理单元考查的一组64个4乘4像素的像素片。
图3C说明图3B的像素栅格，其中64个像素片被组成为四个的群组，以形成由第二处理单元层的16个处理单元考查的16个元片。
图4说明用于图3A到3C说明的32乘32像素栅格的皮层处理单元分级的一种可能实例。
图5A说明在原型程序中用以处理来自图3A说明的32乘32像素栅格的信息的皮层处理单元的分级。
图5B说明具有提供上下文的反馈信息的图5A的分级。
图6说明图5A的皮层处理单元分级的替代视图，其中使用参看图3B和3C陈述的定址系统来标记皮层处理单元中的每一者。
图7说明用于图5A的皮层处理单元分级的贝叶斯(Bayes)可信度网。
图8说明用于训练原型程序的90个训练形状。
图9说明四个连续图案的八种不同的可能序列。
图10说明来自使用原型程序的三个不同线图测试的某种结果数据。
具体实施方式
本发明揭示用于实施机器智能的方法、架构和设备。在以下描述中，出于解释目的，陈述特定术语以提供对本发明的详尽理解。然而，所属领域的技术人员将明了，实践本发明并非必需这些特定细节。举例来说，参看用于产生预测的贝叶斯网络描述本发明。然而，可使用其它类型的系统来分析学习到的信息，以便产生预测。参看使用图像信息作为感觉输入的简单图像辨识系统来陈述本发明的许多教示。然而，本发明的原理可应用于具有任何类型感觉输入的任何类型的环境，只要环境内存在可检测的一致性即可。
人脑运作的理论
人脑由数十亿互连神经单元(神经元)组成。类似于计算机系统，人脑的神经元连接到输入单元和输出单元。输入单元由连接到我们的大脑的感觉组成，例如听觉、视觉、嗅觉、触觉和味觉。输出单元由受控的肌肉组成，其允许我们用我们的身体进行复杂的动作且允许我们通过说话进行交流。
但除了这一种相似性之外，计算机和人脑是极为不同的。计算机具有中央处理器，其按顺序执行从平坦定址的存储器系统中检索的一组指令(具有相关的参数信息)。在人脑中，没有中央处理器。而是存在以所有神经元同时操作的某种并行方式互连的数十亿神经元。在人脑中也没有具有完美回想功能的较大平坦定址存储器系统。而是，人脑具有数十亿在神经元之间形成连接的突触。突触网络中的每一突触可被加强或减弱，因此充当具有所述突触的经修改运作形式的“存储器”。
如背景技术中所陈述，创建智能机器的独立努力已产生许多有用的计算机程序。然而，从没有创建接近于真正人脑(或其它哺乳动物)的东西。尚没有人想出如何独立地编程真正的智能机器。因此，为了建立智能机器，可能明智的是确定人脑工作的方式，以便利用通过自然选择的数百万年进化的这一惊人产物中所含有的运作方法。
科学家已经对人脑进行了超过一百年的研究。这种广泛的研究已导致许多独立的发现，其已揭示对人脑运作的大量见解。然而，人脑的总体运作在很大程度上仍然还是个谜。本发明的教示组合了关于人脑的许多发现，以便创建关于人脑如何运作的总体理论。运作理论主要集中于大脑的大脑皮层，因为只有哺乳动物(通常被视为智力水平最高的动物类型)具有大脑皮层。在Times Books中Jeff Hawkins的“On Intelligence”一书中可找到对大脑的大脑皮层运作的总体理论的完全描述，所述书的全文以引用的方式并入本文。
通过关于大脑皮层如何运作的总体理论，接着可用机器实施这些教示，以便产生人工智能。举例来说，可用计算机系统上的软件实施本发明的方法。然而，可以许多其它形式(例如直接在集成电路中)实施所述教示。
感觉输入包括图案序列
人脑被保护在由人头骨组成的坚固骨头的范围内。人脑与外部世界之间没有直接接触。为了了解外部世界，人脑具有与位于人体全身的感觉神经单元的数百万连接。人体表面上的数百万神经单元提供触觉输入。人眼视网膜上的数百万杆状细胞和锥状细胞检测光并沿着视觉神经将关于检测到的光的信息传输到大脑。人耳中的数千传感细胞检测不同的声音频率并沿着听觉神经将检测到的声音信息传输到大脑。所有此类感觉信息都沿着不同的神经路径接收到大脑。大脑接着必须解译所有此类信息以形成对外部世界的理解。
传输到大脑的所有不同感觉输入信号都具有至少两个维度：空间维度和时间维度。空间维度构成同时到达大脑的相关感觉信号的集合。对大脑同时接收到的相关神经纤维的收集性动作被视为空间维度中信息的“图案”。随着时间，大脑从相关神经纤维的每一集合接收到不同的图案。大脑沿着相关神经纤维接收到的连续图案构成“图案序列”，其中连续图案在时间上紧密相关。
参照人类视觉可容易提供实例。大脑在特定时间瞬间从视觉神经接收到的所有输入信号在空间维度上呈现视觉信息的图案。随着时间，在我们移动眼睛(以称为“扫视”的运动形式)、移动头部或移动整个身体时，不同的视觉信息进入我们的眼睛。我们的眼睛接收到的不断改变的视觉信息沿着视觉神经连续传输到大脑。不断改变的视觉信息在视觉神经上产生不同的图案。因此，在视觉神经上传输的连续图案流是视觉信息的图案序列。
空间维度中的图案和时间维度中的图案序列的模型适用于我们所有不同的感觉。关于听觉，我们耳朵中不同的毛发由不同频率的声音激活。沿着听觉神经从耳朵传输到大脑的所有不同频率信号的集合呈现听觉信息的图案。随着时间，我们听到不同的声音，使得听觉图案序列沿着听觉神经传输到大脑。我们的触觉感觉实际上比简单的触摸压力详细得多。触觉信息具有各种各样的空间维度方面，包含压力、温度、疼痛和位置。大脑同时接收到的所有此类触觉信息是空间维度中的触觉信息的图案。随着时间，身体接收到触觉信息的图案序列。
许多使用神经网络的人工智能研究涉及到使用神经网络尝试学习图案信息，使得神经网络稍后可辨识新输入数据内的类似图案。然而，多数基于神经网络的图案辨识研究是不考虑时间而使用空间图案执行的。举例来说，在学习阶段期间，可每次一个地向神经网络呈现静态图像的集合，例如苹果、船、树、香蕉等。“教会”神经网络每个呈现的图案表示什么，以便就不同物体图案对神经网络进行训练以进行物体辨识。稍后，将新图像图案呈现给神经网络，使得神经网络尝试识别新图像中的物体。在此类图像辨识神经网络方面已经获得了一定程度的成功，但成功是有限的。
人脑并不是以与时间无关而呈现一组完全不同图像的静态方式接收信息。而是，人脑从不同的感觉器官接收作为连续图案序列的信息。举例来说，我们的眼睛接收作为视觉神经上的图案序列传输到大脑的一直改变的图像序列。我们的大脑学习通过观察这个世界中的连续运动将同一物体的不同的顺序图像分组在一起。
图案序列中的感觉信息通常随着时间而高度相关。举例来说，当人朝窗外看时，许多视觉信息(例如，建筑物、树干、地面等)保持静止。某些视觉信息(例如，风中吹动的树叶、空中飞行的鸟、跑过草地的松鼠等)随着时间改变。但即使是改变的信息在时间上也是高度相关的，因为风中吹动的树叶没有明显移动，鸟以直线飞行，而松鼠仅在同一区域中的地面上移动。
视觉流中信息的相关对于学习来说非常重要。举例来说，前一实例的朝窗外看的婴儿将随着时间而学习到树木和建筑物不会移动而鸟和松鼠会移动。因此，接收连续的视觉图案序列会提供大量用于学习的有用信息。因此，本发明的系统提出将时间考虑在内，使得将图案序列考查为学习能力中的重要方面。因此，在许多实施例中，本发明的系统使用随时间产生的图案序列作为进行学习的源信息流。
大脑中的大脑皮层使用单一“皮层算法”
人脑由许多不同的部分组成，其中包含小脑、基底神经节、下丘脑、脑干和大脑皮层。然而，通常认为人脑中负责抽象思维和实质学习能力的主要区域是大脑皮层。仅有展现出最佳学习能力的动物(哺乳动物)才在大脑中具有大脑皮层结构。
大脑皮层的不同区域通常用于处理呈现给大脑皮层的不同问题。大脑皮层的一个区域用于处理语法；其它区域用于处理声音；多个区域专用于处理视觉信息；等等。随着时间，科学家已尝试映射出大脑皮层的不同区域所执行的不同功能。当前对大脑皮层功能的大脑功能映射相对复杂。且已经发现，大脑皮层的功能映射在人与人之间仅趋于变化有限的量。
大脑皮层功能的相对一致映射已导致许多大脑研究者假定大脑的每一区域以不同方式处理其接收到的信息和解决问题。然而在1978年，神经学家Vernon Mountcastle做出新的推断。他指出，整个大脑皮层具有非常统一的外观和结构。大脑皮层中处理听觉输入的区域看上去和处理触觉的区域相同，处理触觉的区域看上去和控制肌肉的区域相同，控制肌肉的区域看上去和处理视觉的区域相同，处理视觉的区域看上去和产生语言的区域相同，等等。Mountcastle推断，既然大脑皮层的所有这些不同区域看上去是统一的，那么也许大脑皮层的所有这些不同区域都执行相同的基本操作。他推断可能存在单一的“皮层算法”，其在整个大脑皮层中用于处理所有不同的感觉信息。假如这是真的，那么皮层中执行特定功能的不同区域之所以变为专用的，主要是因为皮层区域接收到了特定的图案信息而不是因为所述皮层区域中有任何明显不同的神经结构。
许多后续的科学研究支持Mountcastle的推断。最强的证据之一是大脑的“可塑性”。如上文陈述，大脑中存在许多似乎专用于执行非常特定的功能的不同区域。然而，已认识到，大脑的不同部分可容易适合于处理通常由大脑皮层的另一区域处理的不同功能。对运作进行调整以便处理不同环境的能力称为大脑的可塑性。
在支持Mountcastle的统一皮层算法推断的一组实验中，科学家将来自动物幼儿的一个感觉器官的输出“重新连线”以连接到所述动物的大脑皮层的不同区域。举例来说，将雪貂幼儿的视觉神经重新连线以使得来自视觉神经的信息流入雪貂大脑皮层的通常用于处理声音信息的区域中。当具有重新连线的大脑的雪貂长大时，雪貂能够看得见。雪貂大脑中通常用于处理声音信息的区域能够适合于处理视觉信息。这些实验展示，在哺乳动物大脑皮层中的几乎任何区域都可对其本身进行调节以处理流入所述区域的任何类型的输入信息的意义上，哺乳动物大脑皮层具有非常大的“可塑性”。
已展示出，人脑中存在相同的可塑性。举例来说，如果在尚未学会说话的小孩的大脑中大脑皮层的通常专用于处理语法的区域(称为布洛卡区，Broca’s area)受到损伤，那么孩子受到损伤的大脑将相应调节其本身以便进行适应。具体来说，孩子大脑将趋于使用大脑的不同区域来处理语法(例如，另一侧上的相同区域)，使得具有损伤大脑的孩子将容易学习说话。可举出此类人脑可塑性的许多其它实例。天生为聋的成年人将使用通常用于处理声音的区域来处理视觉信息。盲人将常常使用大脑后部区域的通常用于处理视觉的区域以便学习阅读盲文。
由于大脑皮层的不同区域可用于处理任何不同的问题，因此一定存在用于处理呈现给大脑的每个不同问题的单一“皮层算法”。这就是Mountcastle提出的见解。尽管Mountcastle的提议可能看上去相对简单，但其发现实际上具有相当深远的含义。具体来说，如果可对在整个人类大脑皮层中使用的单一皮层算法进行适当译码，那么便可在机器中再现所述皮层算法以产生机器智能。在机器的情形中，可使用皮层算法来处理许多不同类型的信息流，只要每一信息流作为图案序列呈现即可。因此，可使用单个类型的机器来解决视觉、语言、听力和机器人技术中的问题。
人类大脑皮层是分级组织的
在一百年的人脑研究中，已经仔细考查了人脑皮层的许多不同方面。然而，研究得最细致的人脑皮层的方面之一是视觉信息的处理。图1说明简化的概念图，其通常由大脑研究者用来描述人脑皮层中与辨识形式和识别视觉信息流中物体有关的视觉处理部分。
在图1的底部，原始视觉信息(视觉图案序列)进入V1区域110。V1区域110执行从视觉神经接收到的视觉图案信息的初始处理。将V1区域110中的细胞划分为细胞群组，其中每一细胞群组分析来自视网膜的小区域的信息。在此文档中，细胞群组中处理同一输入图案序列的所有神经细胞或仿效处理同一图案序列的细胞群组的人造装置将称为“皮层处理单元”或“处理单元”。举例来说，处理直接来自视网膜小区域的输入图案序列中含有的信息的细胞群组可称为皮层处理单元。
由V1区域110中的处理单元产生的信息接着传递到V2区域120。V2区域120对从V1区域110接收到的信息执行处理，且接着产生经处理的输出信息，所述输出信息传递到V4区域130。类似地，V4区域130处理从V2区域120接收到的信息并将经处理的信息传递到IT区域140。最后，IT区域140接收由V4区域130产生的信息。在IT区域140中，已知大脑能够辨别人的视场中的物体。举例来说，如果在人的视场中的任一位置可见到特定面部，那么某些细胞将被激活。
如图1所示，在底部接收原始视觉感觉信息，且接着通过一系列视觉处理区域逐渐处理。在顶部区域，已知视觉处理系统会辨识和识别物体。因此，图1中说明的与辨识形式相关的大脑的视觉处理部分具有连续处理直到在顶部实现复杂结果(识别出的物体)的垂直分级。
实验室试验表明分级的下层(例如V1区域110)中的细胞非常快速地切换(激活和不活动)。这是可以理解的，因为我们的眼睛在不停地移动，使得不同的视觉信息一直呈现到皮层的V1区域110。V1区域110也是图1概念性说明的四个皮层区域中最大的皮层区域。此外，实验展示V1区域110中的每一细胞群组仅可从视网膜的非常小的区域接收信息。因此，在V1区域110中有许多个别较小细胞群组，其负责处理来自视网膜每一区域的信息。
随着图1说明的分级的层的上升，每一较高分级层的细胞的活动变得比较低分级层更稳定。因此，随着在分级中向上前进，细胞越来越多地响应于现实中的物体，而不是简单的视觉构造物。此外，随着在分级中上升，每一层中细胞群组的接收视场变大。也就是说，下部V1区域110中的细胞群组仅处理来自视网膜的小区域的信息，而IT区域140处理来自整个视场的信息。因此，第一层(V1区域110)上方的层中的每一细胞群组处理来自下方层的一个以上细胞群组的信息。这是可理解的，因为一个面部可能出现在人视场的任何区域中且人仍可将其辨识为面部，使得IT区域140必须处理整个视场。
随着分级中上升，每一上升层中的细胞群组处理越来越大的视场，使得第一层(V1区域110)上方的区域中的每一细胞群组处理来自下方层中的区域的许多细胞群组的输出。在图1的视觉形式辨识分级的顶部，IT区域140处理整个视场，因为可在视场的任何部分中辨识物体。
此信息导致将图1的简单方框图修正为具有上升分级的方框图，其通常在底部具有大量皮层较小处理单元且通常在每一后续分级层上具有较少但较大的皮层处理单元。此架构允许在底部进行分布且相对简单的处理并在顶部进行集中但更复杂的处理。
如前一部分中所述，存在在人脑整个大脑皮层中使用的单一皮层算法。此外，使用第一部分中关于输入的教示，每一皮层处理单元接收必须处理的图案序列。通过组合这些教示，可以推断出分级的每一层必须包括接收图案序列形式的输入但输出图案序列的皮层处理单元，因为那些输出图案将成为对下一较高层中皮层处理单元的输入。
组合先前段落中的信息导致将图1的简单分级修正为皮层处理单元的上升分级，其中每一皮层处理单元输入和输出图案序列。图2A说明用于人类视觉处理系统的修正分级图的一个实施例的方框图，其中每一矩形块表示一个皮层处理单元。如上文所述，分级组织可能不是总是由每一上升层上逐渐变少的皮层处理单元组成。举例来说，图2B说明皮层处理单元分级的实施例，其中从下数第三层比从下数第二层具有更多的皮层处理单元。
图2A说明所提出的人类大脑皮层中与辨识形式和识别物体相关的视觉处理部分的分级架构的非常简化的型式。在图2A的说明中，分级的每一层包括一个或一个以上皮层处理单元，其中每一皮层处理单元由矩形框表示。应注意，仅出于概念解释目的而提供图2A。实际上，当然存在远远更多的层，且每一层上当然存在远远更多的处理单元。通过适当确定驱动每一处理单元的单一皮层算法，可使用图2A说明的分级架构来构造智能机器，以便执行视觉物体辨识。
皮层算法将结构存储在记忆体中以供以后辨识
参看图2A，我们知道在分级的底部接收的感觉输入信息由来自感觉器官的图案序列组成。根据存在在整个大脑中使用的单一“皮层算法”的假设，那么每一皮层算法处理单元将也可能输出图案(随着时间，为图案序列)，使得所述图案可用作分级中下一较高层的皮层处理单元的输入。因此，难点在于确定在每一皮层处理单元中内部地使用何种算法来处理传入的图案序列并产生传出的图案序列。
众所周知，大脑具有较大的分布记忆系统。根据单一皮层算法模型，那么每一皮层处理必须包含用于存储信息的记忆体。由于每一皮层处理单元接收输入图案序列、具有记忆体且输出信息，因此皮层处理单元必须使用所述记忆体来帮助处理输入图案序列，以便产生输出图案序列。
人类大脑的最大神秘之处之一是其如何产生现实中物体的不变表示。不变表示是大脑中对物体(实体物体、字、歌曲等)的内部表示，其允许大脑以后在几乎任何不同外部条件中辨识同一物体。举例来说，大脑的对某个人的不变表示使得大脑以后能在任何照明条件下、从任何观看角度和从任何距离来识别这个人，只要感觉输入流中存在足够的信息来识别这个人即可。
本发明的系统提出，可通过使用皮层处理单元的分级来构造物体的不变表示。通过识别持续改变的图案序列内的不变结构并存储所述不变结构以使其以后可被辨识，来形成不变表示。在分级中的每一级别处，每个皮层处理单元执行此识别、存储和以后辨识不变结构的过程。因此，物体的总体不变表示包括与所述物体相关联的已经存储在一组分级布置的皮层处理单元中的所有不变结构。应注意，不变表示包含处在许多不同级别处的不变结构。所有这些不同级别不变结构(包含整个不变表示结构)可在其它物体的不变表示内使用。
大脑皮层必须使用大脑皮层的仅有的外部信息来源——来自各个感觉器官的不断改变的图案序列——来产生这些物体的不变表示。因此，大脑皮层必须通过识别不断改变的图案序列内的不变结构来产生物体的不变表示。必须使用每一皮层处理单元中的记忆体来存储已位于传入的图案序列中的不变结构。以此方式，以后可在传入的图案序列中辨识所存储的不变结构，以便辨识包含所述不变结构的物体。
但图案序列中的不变结构究竟是什么？无结构的图案序列通常表示为完全随机的图案流。因此有结构的图案流不是随机的图案流。但是没有经过任何学习的皮层处理单元如何能识别并非随机的图案序列？一种可能的方式是使皮层处理单元寻找重复的图案或重复的图案序列。重复的图案和重复的图案序列不太可能是随机噪声。此外，图案或图案序列重复的次数越多，重复的图案或重复的图案序列是随机的可能性越低。因此，重复的图案和重复的图案序列可能是不变结构的一部分。以可使用许多其它方法来识别图案流内的不变结构。举例来说，有序的逐渐的图案改变(例如，1、2、3、4等)也最可能是不变结构。
在一个实施例中，每一皮层处理单元可在输入流中搜索重复的图案或重复的图案序列，以便识别输入流内含有的不变结构。皮层处理单元接着可将所述重复的图案和重复的图案序列存储在记忆体中以便以后辨识。
为了限制使用的记忆体的量，皮层处理单元可仅记忆最频繁重复的图案或图案序列。可将存储在记忆体中的此有限数目的重复的图案或图案序列视为一组“门类”，其用于对传入的图案或图案序列进行分类。以后，当再次遇到先前看见并记忆的图案或图案序列(已学习的不变结构)时，皮层处理单元可通知下一较高皮层层关于在输入流中发现的所识别的不变结构。
一旦辨识出，皮层处理单元就可将用于所辨识的图案序列的序列识别符(或名称)传递到分级中的下一较高层。只要传入的图案序列继续匹配于记忆的图案序列，皮层处理单元就将继续输出用于所述所辨识的图案序列的同一序列识别符。由于在整个图案序列期间输出同一序列识别符，因此可发现较高层所具有的处理单元的切换频率将低于较低处理单元。
应注意，如果皮层处理单元不能辨识图案或图案序列，那么皮层处理单元可向下一较高层中的皮层处理单元输出一识别符，其指示在当前输入流中没有辨识出任何事物。或者，皮层处理单元可输出一识别符，其指示在预测图案与接收到的实际图案之间存在误差。
序列识别符本身是关于皮层处理单元的输出的图案。且输出图案(序列识别符)变为对下一较高皮层处理单元的输入。随着时间，皮层处理单元在辨识不同序列时将输出不同的序列识别符，使得从皮层处理单元输出图案序列(序列识别符的序列)。
所述下一较高层中的皮层处理单元接着可将相同的皮层算法应用于其来自分级的较低层中一个或一个以上处理单元的输入流。具体来说，所述下一较高层中的皮层处理单元可从输入流中检查出重复图案或图案序列，并存储所述重复的图案和/或重复的图案序列。当皮层处理单元识别出输入流中的所存储的图案序列时，所述皮层处理单元可用用于所辨识序列的序列识别符通知下一较高层中的皮层处理单元。以此方式，皮层处理单元的分级(如图2A所说明)能够在结构内识别出结构。
通过以分级方式组织大量个别皮层处理单元，可记忆并在以后辨识非常复杂的不变结构。皮层处理单元的分级所学习到的对不变结构的集体记忆包括周围世界的模型。
由于可以许多方式组合较低分级层中的简单结构来产生较高层中的较复杂结构，因此分级结构促进了对记忆体的有效使用。举例来说，低级别皮层处理单元可辨识简单的不变结构，例如不同方位的直线(垂直、水平、45度等)。接着，较高级别皮层处理单元可通过将较低级别结构中直线方位的不同排列组合在一起来辨识较复杂的结构。举例来说，较高级别皮层处理单元可将矩形辨识为第一对平行线在每一末端处由具有与第一对线正交的方位的第二对平行线耦合。可将正方形辨识为第一对平行线在每一末端处由具有与第一对线正交的方位和与第一对平行线相等的长度的第二对平行线耦合。应注意，在两个较高级别物体定义中均使用相同的低级别结构。矩形结构本身可为用于识别较复杂物体(例如，房屋、公告牌、电视等)的原始结构。
随着在图2A说明的皮层处理单元的分级中向上前进，由于识别的图案序列的改变频率将较低，因此每一后续层中的皮层处理单元变得较稳定。最终，在高级别处，信息变得非常稳定。举例来说，在用于识别视觉物体的人类大脑皮层系统中的高层(例如IT区域)中，可始终辨识一致的视觉图案(例如，人类面部)，即使其在人的视场各处移动因而产生导致较低区域(例如V1区域)中有快速切换的极为不同的视觉输入信息也是如此。具体来说，研究表明，只要视场内存在人类面部，高级别(例如IT区域)中的某些细胞就保持激活，即使所述面部在视场各处移动也是如此。
皮层算法使用其存储的记忆进行预测
此文档陈述的关于智能本质的核心理论在于，通过进行有用预测的能力来测量智能。智能允许人类(和其它哺乳动物)使用累积的关于世界的知识以便进行关于世界的预测。仅识别周围世界中的不变结构不是非常有用。然而，对于为了在世界上生存而斗争的动物来说，使用所述累积的关于世界的知识来进行关于所述世界的准确预测是非常有用的适应。当实体可进行关于物体或情形的准确预测时，那么所述实体就具有智能，使得所述实体可称为“理解”所述物体或情形。
能够识别先前遇到的情形并接着进行关于所述情形的准确预测的动物将能较好地生存和繁衍。举例来说，先前遇到狮子捕捉并吃掉其它瞪羚的瞪羚可从所述遭遇进行学习，使得其可预测在狮子周围徘徊可能会让自己丧命。基于所述预测，瞪羚可选择以防止不期望的预测变为现实的方式来行动——跑！类似地，具有预测能力的动物可调整其行为以促使有利的预测变为现实。如果动物先前在五棵树一带遇到过出水的洞，那么这个动物便可预测到这五棵树的位置还会找到出水的洞。因此，自然选择更青睐于具有良好适合于进行准确预测的大脑皮层的动物。
如前面部分所述，大脑皮层可能在以分级形式布置的所有皮层处理单元中使用单一皮层算法来处理许多不同问题。因此，高级别皮层处理单元与低级别皮层处理单元均会进行预测。非常高级别的皮层处理单元可进行复杂的决定，例如前一段落中呈现的帮助动物生存的决定。然而，即使非常低级别的皮层处理单元也会持续进行非常简单的预测。人的大脑皮层持续进行许多这种低级别预测，而这个人并未意识到所述预测。那些低级别预测通常仅涉及到周围的低级别皮层处理单元。(但如果预测并不匹配于感觉到的现实，那么即使低级别的预测也可能在分级中上升。)
举例来说，如果你坐在椅子上，那么耦合到你的触觉感觉的低级别皮层处理单元预测只要你一直坐在椅子上，你与椅子接触的身体将持续感觉到压力。此预测持续进行，但通常仅涉及到其它低级别皮层处理单元，以至于你甚至意识不到对你身体的压力，除非你进行有意识的努力来检测压力。只要传入的现实匹配于预测，那么就存在对情形的理解。(在此情况下，理解处于非常低的级别。)
当预测不能匹配于感觉到的输入时，就会存在混乱，使得关于失败预测的信息在分级中向上移动以进行额外考虑。因此，如果你坐的椅子突然破裂，导致你掉下来，那么正在预测来自身体接触的持续压力的低级别皮层处理单元现在将发信号通知失败预测。附近的较高皮层处理单元将不能解决这些失败预测，使得失败预测在皮层处理单元分级中快速上升得较高，使得你意识到你正在跌落。因此，在我们意识之外，在各个低级别处持续进行许多预测。然而，如果分级中没有皮层处理单元能够解决失败预测，那么即使失败的低级别预测也可能在分级中上升，使得我们意识到问题。
几乎每个人都经历过的上升到我们意识中的失败低级别预测的最常见实例之一是：当你正在上楼梯，你的脚在你预测本应是下一个台阶的地方经过的却是平面，此时你会感受到突然的恐慌感觉。你的大脑注意到现实与预测并不匹配，这使得问题在皮层分级中快速上升。由于没有中间皮层处理单元能够解决此失败预测，因此失败预测一直上升到你的意识中，以便使你注意到问题。
我们的大脑可以许多不同方式来适应感觉输入与预测现实之间的失配。如果感官知觉被认为是准确的但预测并不准确，那么错误指示大脑的世界模型不准确。大脑可通过学习来调节其现实模型。因此，在先前实例中，你可以学习到所述组楼梯的台阶比你先前预期的少。
假定皮层处理单元做出预测，那么必须确定大脑皮层中的这些皮层处理单元如何能做出这些预测。如先前部分中所述，每一皮层处理单元将图案序列存储在记忆体(理论上为表现世界中结构的图案序列)中以便以后辨识。如果传入的图案匹配于特定记忆的序列，那么皮层处理单元会“辨识”所述特定序列，并通知较高层中的耦合的处理单元正观察到已知的序列。然而，此序列辨识也可用于做出预测。具体来说，如果皮层处理单元辨识出其当前处于已知的图案序列中，那么所述皮层处理单元可通过识别所辨识图案序列中的下一图案来确定所述处理单元预期接收的下一图案。此预期的下一图案构成皮层处理单元的预测。所述预测在我们的大脑中在皮层处理单元分级的每一级别处一直发生。
皮层处理单元做出的下一图案预测可用作对所述处理单元的待处理的输入。举例来说，图2C说明图2A的皮层分级，其中皮层处理单元231已做出下一预期图案(由虚线表示)的预测，且所述预测被传递回到皮层处理单元231中作为输入信息。存在实现此结果的各种不同方式。在一个实施例中，预测图案值在被引入输入流中之前可被延迟。在“On Intelligence”一书中提出，在人类大脑中丘脑可用于执行此种功能。
对于此种预测存在许多用途。一个简单实例是皮层处理单元可将其对将从较低处理单元接收的下一图案的预测与接收到的实际图案进行比较。以此方式，皮层处理单元可能能够使用图案预测来解决不明确的信息。举例来说，如果下一图案非常接近于预期图案，那么皮层处理单元可认为下一图案本来确实是预测图案，但其可能已经被噪声扭曲。如果皮层单元假定预测图案确实是本来要体现的内容，那么皮层处理单元将认为其仍然在所辨识的序列内。因此，可将非常类似于预测图案序列的图案序列有效改变为所述预测序列。因此，皮层处理单元可通过将实际上真实但不明确的输入(紧密匹配图案)与已知的现实模型(预期图案)组合以产生对现实的知觉来产生感觉到的现实。如果预期图案显著不同于预期图案，那么皮层单元可尝试辨识不同的已知图案序列，向较高单元发信号通知所述错误，向较低单元发信号通知所述错误，或以另一种方式行动。
应注意到此种使用预测信息来解决不明确的输入信息类似于现有的自联想存储器的操作。自联想存储器是当给出已知图案或图案序列的含噪声或部分型式时产生已知图案或图案序列的完全清楚型式的存储器。因此，在自联想存储器中，一组类似的输入图案或图案序列将全部检索和输出相同的输出图案或图案序列。这是人类可不费力地完成的一种形式的普遍化。然而，如果输入图案被以明显方式移位、旋转、缩放或以其它方式扭曲，那么多数自联想存储器系统将失效。
人类记忆常常与自联想存储器一样通过其本身内容而联系在一起。举例来说，如果你希望回想关于你很久以前居住的房屋的信息，你可能希望观看所述房屋的照片来“准备好”你的记忆(照片是整个房屋记忆的部分输入)。一旦看见房屋的照片，可产生大量关于所述房屋的记忆(房屋记忆的完全清楚的型式)。因此，使用房屋本身来处理对房屋的记忆，这就是自联想存储器这一术语的来历。
自联想存储器可用于存储图案序列。为将图案序列存储在自联想存储器中，可使当前输入图案与前一输入图案相关联，接着使下一输入图案与当前输入图案相关联，等等。接着，将自联想存储器的输出耦合到自联想存储器的输入。以此方式，当用与序列中第一图案相关联的空间图案准备好自联想存储器时，将回想出整个序列。
自联想存储器可用于构造本发明的皮层分级的原始型式。举例来说，自联想存储器装置可布置成分级布置，其中来自低级别自联想存储器的输出耦合到具有某种额外电路的较高自联想存储器的输入。在此类系统中，自联想存储器存储、辨识和回想早先提到的图案序列。需要额外电路来将输出序列转变为将被提供到下一较高层自联想存储器的输出序列的名称。
回到由皮层处理单元做出的下一图案预测，下一图案预测也可在不同的皮层处理单元之间传递。图2A说明不同的分级层，其中有信息向上流动且也有信息向下流动。如早先陈述，每一个别皮层处理单元尝试识别其输入流中的不变结构。当处理单元辨识出记忆的图案序列时，关于所述辨识的信息(用于所辨识序列的识别符)向上传递到下一较高皮层单元层。此外，关于失败预测的信息可向上流动。向下信息流可包含由分级中较高皮层处理单元做出的到达较低的较高皮层处理单元的下一图案预测。
图2D清楚说明此预测信息向下流动的概念实例。具体来说，皮层处理单元231做出预测(由虚线表示)，所述预测传递到耦合到皮层处理单元231的较低皮层层中的两个皮层处理单元(221和222)。
每一皮层处理单元记忆所述皮层处理单元在其输入上接收的图案序列。所述输入实际上是来自较低层中皮层处理单元的所辨识序列的识别符。当上部皮层处理单元辨识出其当前处在所记忆的图案序列内时，那么皮层处理单元可预测其当前接收的序列中的下一图案。如果所述预测图案传递到下方分级层中的皮层处理单元，那么所述预测图案表示预期来自较低皮层处理单元的下一图案序列。因此，较低皮层处理单元接收关于其将可能遇到的下一预测图案序列的预测。
此类关于下一预期序列的预测可帮助皮层处理单元解决图案序列级别上的不明确性。皮层处理单元可能不能将新传入的图案序列匹配于任何存储的图案序列。或更糟的是，传入的图案序列可能紧密类似于两个不同的存储的图案序列。为确定如何适当地对此不明确的当前传入图案序列进行分类，皮层处理单元可考虑从较高皮层处理单元接收的预测信息。因此，如果皮层处理单元不能确定当前图案序列是匹配于记忆的序列A还是记忆的序列B，且较高级别皮层处理单元预测其将接收序列B，那么皮层处理单元可使用来自较高皮层处理单元的预测来解决这种不明确的情况且因此选择序列B。
此种既在个别皮层处理单元内又在耦合的皮层处理单元之间产生预测的复杂预测系统产生以协调方式在整个分级中操作的复杂的预测系统。具体来说，分级中的每个皮层处理单元可使用其本身的记忆体来预测当前辨识的图案序列中将接收的下一图案。且分级中的每个皮层处理单元可将所述预测的下一图案向下传递到较低的连接的皮层处理单元。皮层处理单元可使用从较高皮层处理单元接收的预测来预测将接收的下一图案序列。
只要每一图案或图案序列预测匹配于接收的输入，事情就会顺利进行。且可使用预测来解决不明确的图案或图案序列。但当预测明显错误时，错误信号或预期外的输入在皮层分级中向上传播。如果分级中上方较高的皮层处理单元能够解决问题，那么正确信息将从所述皮层处理单元向下流回分级。如果问题一直传播到分级的“顶部”，那么可能需要发生某种新的学习，以便将来处理新情形。
如本文档的早先部分中所述，皮层处理单元的分级学习到的不变结构的集体记忆包括周围世界的不变表示模型。通过使用存储在记忆体中的周围世界的不变表示模型组合来自感觉器官的传入图案序列和所有皮层处理单元持续做出的序列和图案预测，我们的大脑皮层产生对现实的完全知觉。因此，我们对“现实”的理解不仅是我们可用我们的感觉在任何特定时刻检测到的东西。而是，用感觉到的信息(来自我们的感觉器官)和从记忆中回想的信息(我们的世界模型)两者来产生我们对现实的知觉。(实际上，我们对现实的知觉的大部分可能来自记忆。)
此种感觉到的信息与记忆的信息的组合是非常有用的，因为单凭我们的个别感觉器官不会提供足够的信息来完全理解周围世界。只有感觉信息与从记忆中回想的信息组合从而可做出准确预测，才会导致对周围世界的真实理解。从周围世界推断并存储在记忆体中的结构越不变，关于所述周围世界可做出的预测就越准确。且因此，关于所述周围世界可做出的预测越准确，就越了解外部世界。
有许多实例可以说明我们的大脑皮层如何组合感觉输入与我们在记忆中的世界模型来产生对现实的完全知觉。举例来说，众所周知，人们在典型的对话中并非总能听见另一个人说的每个字。然而，我们在没听见一个字时可预测出合理的正确的字的能力使得我们能够在没有听到所有字的情况下理解另一个人说的话。这仅在一个人语言十分流利时才会发生。在变得流利之前，学习语言的人将常常需要说话者放慢他的说话速度并明示每个字。当阅读难以阅读的笔迹时会发生类似类型的预测。具体来说，我们学习到的句子结构、语法、正在讨论的素材和其它记忆的信息的知识使得我们能够解译单独呈现的情况下无法解译的手写字。
组合感觉信息与记忆的信息的一个非常有意思的实例是与我们眼睛中的盲点一起发生的。我们的眼睛有“盲点”，在此处，视觉神经与眼球的后部耦合。因为在视觉神经耦合到眼球的视网膜位置上没有光检测细胞，所以存在盲点。仅当一只眼睛闭上时此盲点才会完全存在，因为通常另一只眼睛会覆盖含有眼睛盲点的视场。但即使当人仅睁开一只眼睛时，这个人也不会注意到其视场中的张口状孔。实际上，人们必须做出协同的努力以便甚至在仅用一只眼睛观看时也能意识到盲点。这如何才变为可能呢？
盲点不容易检测的原因在于我们的大脑组合感觉的视觉信息与预测的视觉信息，使得来自盲点的孔被“填充”以产生完全的视觉知觉。具体来说，大脑用来自周围视觉场景的信息填充孔，并做出智能预测来填充孔。如果盲点孔在地毯的图案内，那么将使用所述地毯图案来填充孔。如果直线通过盲点，那么直线段将被填入盲点，以便使直线完整。由于我们的大脑因长年的学习而非常善于做出关于我们周围的预测，因此预测信息表现为与实际感觉的信息一样真实。因此，你真的不能总是相信你所“看见”的。
皮层算法根据不变表示和输入数据做出预测
沿皮层分级向下流动的反馈或信息提供许多功能。如早先所述，反馈信息可用于解决不明确的输入数据。但反馈数据也用于其它非常重要的功能。
可能需要反馈信息来进行学习。在大脑皮层的每个皮层处理单元和区域学习图案序列时，所述大脑皮层的皮层处理单元或区域在由大脑皮层的下一较高的皮层处理单元或区域提供的特定上下文中学习序列。所述上下文指定大脑皮层的较高皮层处理单元或区域的状态。可将所述上下文指定为由所述大脑皮层的较高皮层处理单元或区域正经历的序列的当前元素。此上下文反馈信息提供用于大脑皮层的皮层处理单元或区域将其输入图案适当组合在一起的方式。
来自较高层的反馈信息的另一个非常重要的用途是提供使用不变表示来执行特定预测的能力。当高级别图案在分级中朝向输入向下移动时，发生基于不变表示的预测。此种预测以两种不同的方式发生。当系统预测仍未发生的事时发生第一种方式。举例来说，我们的大脑皮层允许我们在一首歌的下一音符发生之前预测(和听见)这个音符。当系统在正在发生的事中填充失去的信息时发生另一种不变表示类型的预测。举例来说，我们的大脑皮层填充视觉图像中失去的或被遮蔽的部分，如先前参考盲点所描述。
在这两种情境中，系统在做出期望的特定预测时存在挑战。所呈现的挑战在于在皮层分级中较高位置的图案具有不变的形式。所述不变的形式缺少细节来产生精确且与当前情形相关的预测。但理想上，系统应该产生尽可能精确的预测。因此，不变表示必须与某种特定的前馈信息组合以做出特定预测。
一对实例将说明此概念。想象一下你预计会看见一只狗(也许你听到狗叫声)。在大脑皮层的视觉处理区域中的高级别IT区域中，大脑皮层知道其应该表示“狗”。然而，没有任何额外的当前信息，大脑皮层的IT区域不能预测你将看见什么类型的狗、狗将在哪里以及将在什么位置看见狗。然而，如果你已经看见狗的一部分(例如，脚或尾巴)，那么大脑皮层可使用此部分前馈信息来帮助预测狗的其余部分将在哪里以及狗看上去什么样。类似地，如果你预计会听见一首歌中的特定音符间隔，例如升高的八度音阶，那么在没有额外信息的情况下没有方法来确定精确的下一音符是什么。然而，如果你的大脑皮层能够将此“不变的”上升八度音阶预测与听见的最后一个音符组合在一起，那么大脑皮层将能够精确预测将听见的下一音符。
如上文陈述，不变表示必须与某种前馈信息组合以便产生特定预测。进行此种做法的一般方法如下。在前馈输入从下方单元到达记忆体分级中的一皮层处理单元或区域时，可组合所述前馈输入以形成空间图案。作为学习过程的一部分，此空间图案必须被存储为正向下馈送到此皮层处理单元或区域的任何较高级别上下文信息的一种类型的实例。在不同的前馈输入(组合为空间图案)到达时，将前馈输入(空间图案)存储为在该时刻提供的不同较高级别上下文的一部分。举例来说，皮层单元或大脑皮层区域可经历以下学习：图案A(前馈输入图案)是狗(上下文)，图案B是狗，图案C是猫且图案D是猫。这些A、B、C和D图案是为未来参考而学习的不变表示的组成部分。
以后在辨识期间使用存储的图案。举例来说，当到达皮层单元或大脑皮层区域的反馈信息指定看见狗的预期，那么皮层单元或大脑皮层区域部分地调用存储在“狗”的上下文中的所有存储的图案。在前一段落的实例中，皮层单元或大脑皮层区域将部分地调用图案A和B，因为这些图案存储在“狗”的上下文中。为完成预测过程，部分调用的不变表示必须与当前信息组合。因此，到达皮层单元或大脑皮层区域的部分前馈输入将首选匹配于图案A或图案B，使得前馈输入与其匹配图案的组合导致精确的预测。所述预测是通过将前馈输入与已知的“狗”上下文的实例组合而产生的特定预测(图案A或图案B)。
“On Intelligence”一书陈述可在人类大脑皮层内使用的一种机制的细节。此机制使用稀疏分布的空间图案。在所描述的机制中，在六层大脑皮层列中的第2层细胞是所有相关不变表示图案的超集。来自上方的反馈信息激活第2层中的不变表示，且激活的第2层细胞发信号到同一列中的第6层细胞。来自下方的表示当前情形的前馈输入信息提供到与前馈信息相关的列的第6层。发信号到第6层的反馈产生的第2层细胞活动与第6层中的前馈活动的交叉点确定特定预测。
在其它系统中存在许多执行相同功能的其它方法。构造系统的要求是相对简单的。首先，系统必须具有对多个不同物体(不同的上下文)的多个不同表示。多个不同表示中的每一者必须与特定类型的前馈(或输入)信息相关联，使得前馈信息将部分地激活表示。指定特定上下文(物体)的前馈信息必须能够部分激活与所述上下文(物体)相关联的不同表示。部分地由反馈信息激活且部分地由前馈信息激活的任何表示被视为完全激活。在此系统中，可通过用反馈信息指定特定上下文(以部分激活相关的一组表示)并指定当前前馈输入信息(以部分激活与前馈信息有关的表示)使得完全激活的表示作为预测而产生，来做出特定预测。预测接着可在分级中向下流动。
最初，这可能看起来是非常不切实际的操作方法，因为存在物体可表现的接近无限数目的可能方式(不同表示)。如果尝试存储表示每一可能输入的不同图案，那么这将需要无法想象的大量记忆体。但如先前部分中陈述，分级记忆体组织在表示非常大量的不同事物方面是非常有效的，使得此明显的限制可被克服。本质上，记忆体分级的较低区域形成在许多较高级别物体表示之间共享的较低级别基元的表示。这急剧减少了表示非常大量的不同物件所需的记忆体量。
智能机器架构
为构造复杂的存储器系统或智能机器，本发明提出使用先前部分中陈述的人类大脑的架构和运作理论的各方面作为蓝本，以便创建复杂的存储器系统和智能机器。通过尝试仿效从通过进化而磨砺出的复杂智能系统(人类大脑皮层)推断的重要方面，可实现人工智能领域中的显著进步。此方法避免了当前主要两种人工智能方法的缺陷。
前一部分的分段陈述了已从哺乳动物大脑皮层推导出的主要原理。具体来说：
1.感觉输入包括图案序列
2.大脑皮层对于许多不同问题使用单一“皮层算法”
3.大脑皮层是以分级方式组织的
4.皮层算法将结构存储在记忆体中以便以后辨识
5.皮层算法使用其存储的记忆做出预测
6.皮层算法根据不变表示和输入数据做出预测
通过使用这六个原理，可构造各种不同的复杂存储器系统并最终构造出智能机器。并非所有这些不同原理都必须在使用本发明教示的每个实施例中使用。可通过将这些教示中的仅几个教示组合在一起来产生许多有用系统。
智能系统可包括布置成分级结构的多个个别皮层处理单元。每一个别皮层处理单元接收图案序列作为输入。每一皮层处理单元处理接收的输入图案序列并输出另一图案。在皮层处理单元处理处理若干输入序列时，其将在其将传递到较高层中的皮层处理单元的输出上产生经处理的图案序列。
每一个别皮层处理单元包含用于帮助处理输入图案序列的存储器。所述存储器可包括先前遇到的含有不变结构的图案序列。如果输入图案序列是重复的，那么可认为所述图案序列含有结构。个别皮层处理单元可使用存储的图案序列，以便“辨识”输入流中的这种序列。
当皮层处理单元辨识出先前遇到的图案序列时，皮层处理单元可将此辨识报告给较高层皮层处理单元。对较高层的输出可包括传入图案序列中所辨识图案序列的识别符。含有所辨识序列的识别符的输出流本身包括图案序列。所述输出图案流可包括对下一较高皮层处理单元层中皮层处理单元的输入。
皮层处理单元也可使用记忆的图案序列，以便做出关于传入序列的预测，以便解决不明确的信息。具体来说，当皮层处理单元确定其当前正接收已知序列，那么皮层处理单元可预测序列中将接收的下一图案。处理单元可使用预测来解释接收到的下一图案。举例来说，如果进入皮层处理单元的输入流是不明确的，那么所述皮层处理单元可使用预测图案来帮助识别下一输入图案。
皮层处理单元可进一步将预测的下一图案向下提供到接下来的较低皮层处理单元。较低皮层处理单元可将此解释为其将输出的下一序列的预测。此预测信息可包括帮助较低皮层处理单元层正确识别下一序列的信息。
也可将预测信息视为对外部世界中将发生事情的有用预测。而且如果传入的图案明显不同于预测图案或者传入的图案序列明显不同于预测的图案序列，那么就存在预测失败。预测失败的发生可传输到较高层中的皮层处理单元。较高层中的皮层处理单元可能能够解决错误。可以用许多不同方法解决检测到的错误。解决错误的一种方法是通过存储新的图案序列来调整皮层分级的世界模型。
一种视觉图案辨识实施方案
先前部分已经描述一种具有存储序列并对未来事件做出预测的分级的系统。然而，类似于人类视觉系统，所述系统可用于解决空间辨识问题。此部分提出原型程序的一个示范性实施例，其使用先前部分的教示来通过首先学习物体图案来辨识视觉物体图案。如计算机领域的技术人员所知，存在许多方法来实施本文档的先前部分中提出的方法和架构。然而，用充足的细节陈述操作的原理和架构，使得可创建并入本文档教示的许多不同系统。
原型图案辨识程序构造为皮层处理单元的分级，其分析由线图组成的输入训练信息以便识别所述训练信息内的结构。还向原型程序告知训练信息中某些信息中的物体名称，使得原型程序可使特定学习的结构与特定物体名称相关联。在原型程序完成其学习阶段之后，原型程序接着可使用学习的信息准确辨识新输入数据中的物体。
在此示范性原型图案辨识程序中，原型程序的分级处理单元接收作为动画形式的连续流呈现的图案信息。因此，图案序列被呈现到原型程序并由其学习。原型程序接着使用学习的信息来产生关于外部世界的概率模型。接着使用概率模型来使用此项技术中众所周知的贝叶斯可信度传播来辨识新图案数据中的物体。关于贝叶斯可信度传播的清楚细节可在Morgan Kaufman Publishers，Inc的Judea Pearl的“Probabilistic Reasoning inIntelligent Systems：Networks of Plausible Inference”一书中找到。然而，并入本发明教示的其它实施方案可以不同方式处理学习的信息，且可使用其它推断最终结果的方法。
所处理的视觉图案辨识问题
原型程序所处理的视觉图案辨识问题用计算机软件实施本发明的分级架构。为了使得软件的大小、所需存储器的量和原型程序的处理要求一直受到控制以及为了快速产生起作用的原型，根据本发明的理想实施方案进行一些简化。
此外，将原型程序的视觉图案世界限制于小的像素栅格。具体来说，图3A说明构成原型程序的有限视觉世界的黑或白像素的32乘32栅格。然而，32乘32黑或白像素栅格呈现充足的空间来产生多个线图和所述线图的应被识别为属于同一群组的紧密相关的型式。在图8中呈现在32乘32黑和白像素栅格中产生的某些线图的实例。
用于视觉图案辨识问题的感觉输入
原型程序中的皮层处理单元的分级布置首先在学习阶段期间且接着在图案辨识阶段期间分析整个32乘32像素栅格。在原型程序的示范性实施例中，最低级别的皮层处理单元各处理来自4乘4像素片的输入图案序列。图3B说明被划分为一组4乘4像素片的32乘32像素栅格。每一个别的4乘4像素片通过其本身的第一级别皮层处理单元来分析。图3B中说明有64个个别的4乘4像素片，使得分级的第一皮层处理单元层将具有64个皮层处理单元。
片310说明从完整的32乘32像素栅格中取出的示范性4乘4像素片。可使用图3B的栅格上说明的行和列的编号来为每一像素片定址。完整的地址还应包含皮层处理单元分级层中的层的识别符。在此实例中，最低的分级层将被认为是层“X”。因此，示范性片的地址可给定为X17，其中第一个字符指定皮层单元层，第二字符指定行，且第三字符指定列。
皮层处理单元分级
在下一较高皮层单元层中，分配每一皮层处理单元以考查由四个相邻皮层处理单元产生的图案序列。具体来说，图3C说明栅格上由第二皮层层的16个皮层处理单元考查的16个4乘4像素片的群组。关于较低层X，可使用行和列指数来为图3C的16个片(及其各自的皮层处理单元)定址。因此，如果将第二层指定为层Y，那么角落片320可被定址为Y03，其中Y是层，0是行，且3是列。
将以类似方式实施连续的皮层处理单元层。图4说明用于图3A到3C说明的32乘32像素栅格的皮层处理单元分级的一种可能实例。在图4的分级实例中，第三层具有四个皮层处理单元，其中每一处理单元处理来自第二层中四个皮层处理单元的数据。第四皮层处理单元层由两个皮层处理单元组成，其中每一者考虑来自第三层中两个皮层处理单元的输出。最后，第五(顶部)皮层处理单元层处理来自第四层的两个皮层处理单元的输出。
应注意，图4中分级的连续较高层中的皮层处理单元处理来自下方层中一个以上皮层处理单元的信息。因此，随着在皮层处理单元的分级中上升，连续较高皮层处理单元的接纳场变大。将此设计为类似于以类似方式运作的人类大脑皮层的视觉系统。
应注意，图4仅呈现针对图案辨识问题的一种任意选择的分级布置。可产生许多其它分级布置。举例来说，图4的分级的最低层中的处理单元每一者考虑由4乘4像素片中的16个像素组成的输入。但可使用许多其它的感觉输入划分，例如使最低层上的皮层单元仅考虑来自2乘2像素片中四个像素的输入。相同的原理适用于分级中所有不同的皮层处理单元层。举例来说，第三层430上的皮层处理单元可考虑来自第二层中五个或六个皮层处理单元的输出。在另一实施例中，第三层430上的皮层处理单元每一者可仅考虑来自较低第二层中四个处理单元的输出。
在原型程序中，构造较小的皮层处理单元分级。图5A说明用于构造原型程序的皮层分级架构。如图5A所说明，最低皮层处理单元层(X层510)具有64个皮层处理单元，用于处理来自如图3B陈述的个别4乘4像素片中的32乘32像素栅格的感觉输入。第二皮层处理单元层(Y层520)具有16个皮层处理单元，其中每一皮层处理单元处理来自如图3C陈述的X层510中的四个皮层处理单元的输出。最后，在图5A的原型程序分级中，单个皮层处理单元构成顶部层，即Z层530。Z层530上的单个处理单元处理来自Y层520上所有16个皮层处理单元的输出。
图6说明图5A的皮层处理单元分级的替代视图。在图6的替代视图中，使用参看图3B和3C陈述的定址系统，用地址来标记皮层处理单元中的每一者。
用于训练的视觉图案
为训练原型程序，向原型程序呈现一组线图形状。图8说明用于训练原型程序的示范性的一组90个训练形状。图8的线图形状以动画的形式呈现到原型程序，所述动画形式使线图训练形状在32乘32像素世界中各处移动。此训练允许原型程序学习图8中构成原型程序的世界的各种几何形状，和所述几何形状在其有限的视觉世界中的移动。
无监督训练
在初始训练期间，原型程序的皮层处理单元每一者记忆遇到的最频繁发生的图案序列。举例来说，原型程序的最低X层510中的皮层处理单元记忆在其局部的4乘4像素片上遇到的最频繁发生的图案序列。在原型程序的一个实施例中，最低X层510中的皮层处理单元记忆四个连续图案的序列。在Y层和Z层也发生类似的图案序列学习。此无监督的学习允许原型程序学习构成其世界的各种原始结构。
起初用以后将辨识的特定物体的动画来执行无监督的训练。举例来说，无监督的训练可能已经使用图8中的字母线图。然而，另一无监督训练会话使用不包含系统以后将尝试辨识的任何形状的一组形状。发现只要训练中使用的线图包含存在于将辨识的线图(例如字母)中的相同低级别原始结构，那么此没有字母的无监督的训练良好地起作用。字母形式的低级别原始结构包含例如垂直线、水平线、角、框和平行线的结构。因此，立即可见，分级布置学习了始终存在于其世界中的低级别原始结构。原型程序接着以各种方式组合低级别结构以产生许多不同较高级别物体的表示。
图9说明皮层处理单元分级的最低层(X层510)的皮层处理单元可见的四个连续4乘4像素图案的八种不同的可能序列。四个水平的图案序列S1、S2、S3和S4表示在无监督训练的动画期间通常遇到的四个图案序列。S1和S2分别描绘向右移动的垂直线和向上移动的水平线。S3和S4分别描绘左下角和右上角的运动。四个垂直图案序列S5、S6、S7和S8描绘从不(或者几乎从不)发生的非常随机的图案序列。因此，频繁发生的(重复的)图案序列(例如，S1、S2、S3和S4的图案序列)和其它频繁发生的序列由最低X层510皮层处理单元记忆为含有不变结构的序列。
在一个实施例中，仅将13个最频繁发生的图案序列存储在X层510中的皮层处理单元的存储器中。对记忆的频繁发生的图案序列的每一者给定唯一的识别符。在一个实施例中，不同的记忆的序列中的每一者是非常不同的，使得X层510皮层处理单元可立即辨识出正经历哪个记忆的序列。(序列没有或几乎没有共享的图案。)
将所辨识的图案序列的识别符向上传递到下一皮层处理单元的层，图5A的Y层520。如图5A的特定分级布置所说明，Y层520中的每一皮层处理单元接收来自较低X层510中的四个皮层处理单元的信息。将来自四个X层单元的四个序列识别符组合以形成由Y层520中的皮层处理单元接收的空间图案。在一个实施例中，简单地将来自四个X层处理单元的序列识别符连接在一起以形成呈现到Y层520中的皮层处理单元的唯一图案。应注意，Y层皮层处理单元理解较高级别概念，因为Y层处理单元将来自四个个别X层处理单元的序列信息组合在一起。
如先前陈述，一个实施例记忆X层510中的13个不同的通常遇到的序列。通过来自四个不同X层皮层处理单元的序列识别符信息(其中每一层可在13个不同序列之一中)，Y层520处理单元可能会经历134＝28561个可能的不同输入图案。然而，实际上仅经历七百四十四(744)个不同的输入图案。因此，如所预测，皮层处理单元仅经历进入皮层处理的较小百分比的可能输入图案。
Y层520中的皮层处理单元可执行与上文陈述的X层510中的皮层处理单元相同的学习操作。具体来说，Y层520中的每一皮层处理单元识别并接着记忆在其输入流上通常经历的图案序列。Y层处理单元以后将尝试辨识其输入流中的那些记忆的序列。Y层处理单元接着可将所辨识的图案序列报告给下一较高皮层处理单元层，Z层530。Z层530接收来自Y层520中所有16个不同处理单元的序列识别符。可组合来自Y层520的16个序列识别符以形成由Z层530接收的空间图案。
在一个特定实施例中，原型程序还收集关于在无监督学习阶段期间检测到的图案和图案序列的一组统计数据。所收集的统计数据可包含遇到特定图案或序列多少次以及遇到特定输入值多少次。如关于根据不变表示做出特定预测的早先部分中所陈述，将跟踪的一个非常重要的统计数据是当遇到特定图案或序列时的特定上下文。在一个实施例中，特定较高层图案可为针对较低层图案和序列的上下文。就是在此训练阶段期间，系统构造贝叶斯网络，使得使用贝叶斯可信度传播的贝叶斯推论可用于执行图案辨识。在稍后部分中将更详细陈述关于贝叶斯推论的细节。
有监督训练
在无监督训练之后，原型程序已收集图案序列并根据较低层序列形成较高层物体概念。由于原型程序已经在顶部级别理解物体概念，因此从Y层到Z层的训练可以有监督方式进行。有监督训练将特定物体名称联系到高Z层处学习的物体概念。以此方式，以后原型程序可在给出新输入数据时推断特定物体名称。
可通过将物体名称呈现给顶部Z层530，同时呈现特定物体形状的动画，来执行有监督训练。原型程序因此将Z层处的高级别概念(当前序列)与当前正呈现的物体名称相联系。
举例来说，在用来自图8的顶部行左边的第三几何形状进行有监督训练时，在Z层处辨识出的所记忆序列与名称“猫”相关联。类似地，在用来自顶部行左边的第六几何形状进行训练期间，在Z层处辨识出的所记忆序列与名称“狗”相关联。关于训练期间所有不同的几何形状以此类推。
与无监督训练阶段一样，原型程序还收集关于在有监督学习阶段检测到的图案和图案序列的一组统计数据。将使用这些统计数据来建立概率表，以便执行如稍后部分中将描述的贝叶斯推论。
使用贝叶斯推论的图案辨识
学习图案辨识原型程序使用贝叶斯推论技术以便使用图案辨识来产生非常准确的物体名称。在原型程序中，目标是在顶部Z层530处具有与正确的物体名称相关联的所辨识序列信息。理想上，由于通过原型程序获取的知识的普遍化，因此甚至新的输入图案也应当输出辨识的Z层序列(和与辨识的Z层序列相关联的物体名称)。
贝叶斯法则允许系统基于可用证据E确定得出特定结果R的概率。为计算此概率，需要观察关于不同可能结果R和不同可能证据E的中等量的信息。贝叶斯学习的基本法则是
P(R|E)＝P(E|R)P(R)/P(E)
这规定了给定某个证据E时特定结果R的概率等于给定结果R时特定证据E的概率乘以遇到结果R的先验概率再除以遇到证据E的概率。
为了用原型程序执行期望的图案辨识，原型程序必须尝试在分级的底部(X层510)处给定特定输入信息时确定分级的顶部处的输出序列Z(且因此确定相关联的物体名称)。由于这是底部到顶部的确定，因此其在技术上称为推论。以提供到最低层(X层510)中的静态32乘32像素图的形式供应输入信息。最低X层510处理32乘32像素图以确定X层处最可能的序列。如果给定时间，X层也可接收并考虑真实的图案序列信息以产生更准确的结果。
为做出期望的Z序列的确定，将需要知道当给定特定输入序列Xi时不同可能输出Zj序列的概率。将此概率表达为P(Z|X)。通过使用贝叶斯法则，我们知道：
P(Zj|Xi)＝P(Xi|Zj)P(Zj)/P(Xi)
因此，为确定当给定输入信息X时特定Z序列的概率，原型程序必须知道：
P(Xi|Zj)，其为特定Xi输入导致序列Zj的概率；
P(Zj)，其为遇到特定Zj序列的概率；和
P(Xi)，其为遇到特定输入序列Xi的概率。
在学习阶段期间收集用以确定所有这三个需要的概率值的信息。
应注意，给定特定Z序列时特定X序列输入值的概率P(X|Z)不是直接学习并放置到概率表中。而是，将问题分解为贝叶斯可信度网。因此，在学习期间产生不同的概率表，使得接着可将所述概率表与贝叶斯法则网络组合，以获得期望的概率值。图7说明用于原型程序的图案辨识系统的贝叶斯可信度网。
如图7的贝叶斯可信度网络所说明，可使用给定特定X序列输入时Y序列值的概率[P(Y|X)]来选择Y序列值。随后，可使用给定选定Y序列输入时Z值的概率[P(Z|Y)]来选择Z序列值。可使用贝叶斯法则来计算这些概率。为了执行此计算，所有个别Y层处理单元可观察给定特定Z序列值时特定Y序列值的概率P(Y|Z)。类似地，所有个别X层处理单元可观察给定特定Y序列值时特定X序列值的概率P(X|Y)。
为存储需要的概率值，必须具有在训练期间从较高皮层层呈现到较低皮层层的上下文反馈。图5B说明上下文反馈的实例，其可从较高皮层层呈现到较低皮层层以便允许产生需要的概率表。对于Y层中的每一皮层处理单元，提供当前Z序列上下文信息。在图5B中将此说明为反馈到Y层处理单元的当前Z序列值。(应注意，仅针对两个最左边的Y层处理单元说明上下文反馈，但将当前Z序列提供到所有16个Y层处理单元。)此Z序列上下文反馈允许Y层中的每一皮层处理单元产生概率表，所述概率表指定当给定特定Z序列时所有不同Y序列的概率P(Y|Z)。Y层中16个处理单元中的16个概率表可表现为如下：
Figure A20058004225800311
还将相同类型的反馈提供到下一较低层。具体来说，对于X层中的每一皮层处理单元，从其关联的Y层处理单元提供当前Y序列上下文信息。在图5B中将此说明为被反馈到两个相关联较低X层处理单元的来自Y层处理单元Y00的当前Y序列值。(应注意，仅说明从Y层处理单元到两个X层处理单元的两条反馈路径。然而所有16个个别Y层处理单元会将其当前Y序列反馈到其四个相关联的X层单元。)此Y序列上下文反馈允许X层中的每一皮层处理单元产生概率表，所述概率表指定当给定特定Y序列时所有不同X序列的概率P(X|Y)。各个X层处理单元中的这64个概率表可表现为如下：
Figure A20058004225800321
原型程序的总体操作
首先在训练阶段期间使用例如图8说明形状的形状来训练原型程序。在此训练时期期间，皮层处理单元的每一者将提取在其世界中观察到的具有通常重复图案序列形式的结构。此训练可以无监督方式发生。此外，此训练甚至不需要以后将需要辨识的特定物体。训练可以具有存在于待辨识物体中的相同类型的原始结构的任何形状而发生。在无监督训练期间，原型程序中皮层处理单元的每一者产生对其在探索其世界期间检测到的不变结构的记忆。
稍后，执行有监督的训练。在有监督训练期间，除了正用于训练的物体的动画之外，还将与特定物体相关联的物体名称呈现给原型程序。在此有监督训练期间，原型程序学习使物体名称与Z层上的序列相关联。
在操作阶段中，将具有物体图像的新数据呈现给原型程序。当呈现新物体数据时，原型程序从物体图像中提取具有存储的在X、Y和Z层中辨识出的结构形式的结构。所辨识的结构用于识别相关联组的概率表。所识别的概率表接着用于计算每一物体名称作为所观看物体的正确名称的概率。最后，将具有最高概率的物体名称推断为新图像中物体的名称。
原型图案辨识程序提供了高度准确的结果。此外，原型程序展现出较强的普遍化能力。图10说明来自三个不同线图测试的某种结果数据。列A表示原始训练线图。列B和C说明成功识别为与列A中物体属于同一类别的人为形成的线图。列B和C说明成功识别为与列A中物体属于同一类别的人为形成的线图。列D含有未成功识别为与列A中物体属于同一类别的人为形成的线图。列E含有程序相信列D的线图所属的线图类别。
上述内容已描述了所揭示的用于实施机器智能的方法、架构和设备。预期所属领域的技术人员在不脱离本发明范围的情况下，可对本发明的材料和元件的布置做出改变和修改。

Claims (24)

1.一种存储器系统，所述存储器系统包括：
分级，其包括多个皮层处理单元，每一所述皮层处理单元包括
第一输出，所述第一输出用于输出第一组图案信息；
第一输入，其用于接收第二组图案信息，所述第一输入耦合到感觉单元或来自另一皮层处理单元的第一输出；
存储器，所述存储器存储关于可能在所述第一输入上的所述第二组图案信息中出现的图案的信息；和
处理方法，所述处理方法将所述第一输入上的所述第二组图案信息与关于存储在所述存储器中的图案的所述信息进行比较。
2.根据权利要求1所述的存储器系统，所述存储器系统进一步包括：感觉单元，所述感觉单元产生第三组图案信息。
3.根据权利要求2所述的存储器系统，其中最低层的所述皮层处理单元分级耦合到所述感觉单元。
4.根据权利要求1所述的存储器系统，其中所述图案信息包括图案序列。
5.根据权利要求1所述的存储器系统，其中含有关于所辨识图案的信息的所述存储器包括已经在所述输入上重复的一组图案序列。
6.根据权利要求1所述的存储器系统，所述存储器系统进一步包括：
第二输入，所述第二输入用于接收来自所述分级的较高层中的皮层处理单元的预测。
7.根据权利要求6所述的存储器系统，其中所述预测包括关于所述存储器中的图案的信息。
8.根据权利要求6所述的存储器系统，其中所述预测包括所预期的下一序列图案的识别符。
9.根据权利要求1所述的存储器系统，所述存储器系统进一步包括：
第二输出，所述第二输出包括预测信息。
10.根据权利要求9所述的存储器系统，其中所述第二输出耦合到所述分级的较低层中的皮层处理单元。
11.根据权利要求9所述的存储器系统，其中所述第二输出耦合到所述分级的较低层中的皮层处理单元。
12.一种系统，其包括：
模块的第一级别，所述模块每一者经布置以存储图案序列；和
至少一个模块的第二级别，所述至少一个模块经布置以存储图案序列，其中所述模块的第一级别和所述至少一个模块的第二级别形成贝叶斯网络结构的至少一部分，
其中，至少部分取决于存储在所述模块的第一级别中和所述至少一个模块的第二级别中的图案序列，可通过穿过所述贝叶斯网络结构的可信度传播来确定促成至少一个图案的物体。
13.根据权利要求12所述的系统，其中所述第一级别中的每一模块进一步经布置以随着时间学习所述序列，且其中所述第二级别中的所述至少一个模块进一步经布置以随着时间学习所述序列。
14.根据权利要求12所述的系统，其中可至少部分地取决于从所述第一级别中的模块传递到所述第二级别中的所述至少一个模块的推论来确定所述物体。
15.根据权利要求14所述的系统，其中所述推论传递至少部分地取决于存储在所述第一级别中的所述模块中的概率分布。
16.根据权利要求12所述的系统，其中可至少部分地取决于从所述第二级别中的所述至少一个模块传递到所述第一级别中的模块的预测来确定所述物体。
17.根据权利要求12所述的系统，其中存储在所述第一级别中的所述模块中和所述第二级别中的所述至少一个模块中的序列每一者形成所述物体的不变表示的至少一部分。
18.根据权利要求12所述的系统，其中所述第一级别中的所述模块和所述第二级别中的所述至少一个模块形成模块分级。
19.根据权利要求12所述的系统，其中所述模块中的任一者以软件和硬件中的至少一者来表示。
20.一种方法，其包括：
存取具有存储的图案序列的第一模块；
存取具有存储的图案序列的第二模块，其中所述第一模块和所述第二模块形成贝叶斯网络的至少一部分；和
确定促成图案的物体，所述确定包括以下至少一者：
取决于存储在所述第一模块中的所述序列，将推论从所述第一模块传递到所述第二模块，和
取决于存储在所述第二模块中的所述序列，将预测从所述第二模块传递到所述第一模块。
21.根据权利要求20所述的方法，其进一步包括：
学习所述图案序列并将其存储所述第一模块中；和
学习所述图案序列并将其存储所述第二模块中。
22.根据权利要求21所述的方法，其中所述学习中的任一者随着时间而发生。
23.根据权利要求20所述的方法，其中所述第一模块中的所述存储的图案序列和所述第二模块中的所述存储的图案序列每一者形成所述物体的不变表示的至少一部分。
24.根据权利要求20所述的方法，其中所述第一模块和所述第二模块形成模块的分级的一部分，其中所述模块的每一者均具有实质上与所述第一模块和所述第二模块相同的功能。
CNA2005800422587A 2004-12-10 2005-12-09 用于实施机器智能和分级存储器系统的方法、架构和设备 Pending CN101107618A (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
US11/010,243 2004-12-10
US11/010,243 US20060184462A1 (en) 2004-12-10 2004-12-10 Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems

Publications (1)

Publication Number Publication Date
CN101107618A true CN101107618A (zh) 2008-01-16

Family

ID=36406007

Family Applications (1)

Application Number Title Priority Date Filing Date
CNA2005800422587A Pending CN101107618A (zh) 2004-12-10 2005-12-09 用于实施机器智能和分级存储器系统的方法、架构和设备

Country Status (6)

Country Link
US (3) US20060184462A1 (zh)
EP (1) EP1836657A2 (zh)
CN (1) CN101107618A (zh)
CA (1) CA2589491A1 (zh)
IL (1) IL183625A0 (zh)
WO (1) WO2006063291A2 (zh)

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541306A (zh) * 2013-08-02 2015-04-22 奥克兰单一服务有限公司 神经行为动画系统
WO2016184377A1 (en) * 2015-05-15 2016-11-24 International Business Machines Corporation Architecture and implementation of cortical system, and fabricating an architecture using 3d wafer scale integration
CN109478241A (zh) * 2016-05-13 2019-03-15 努门塔公司 基于感觉运动的输入数据的推理和学习
US12094192B2 (en) 2016-05-13 2024-09-17 Numenta, Inc. Inferencing and learning based on sensorimotor input data

Families Citing this family (63)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
MY138544A (en) * 2003-06-26 2009-06-30 Neuramatix Sdn Bhd Neural networks with learning and expression capability
US20060184462A1 (en) * 2004-12-10 2006-08-17 Hawkins Jeffrey C Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems
US7739208B2 (en) * 2005-06-06 2010-06-15 Numenta, Inc. Trainable hierarchical memory system and method
US20070192267A1 (en) * 2006-02-10 2007-08-16 Numenta, Inc. Architecture of a hierarchical temporal memory based system
US20080208966A1 (en) * 2007-02-28 2008-08-28 Numenta, Inc. Hierarchical Temporal Memory (HTM) System Deployed as Web Service
US8732098B2 (en) 2006-02-10 2014-05-20 Numenta, Inc. Hierarchical temporal memory (HTM) system deployed as web service
US7941389B2 (en) * 2006-02-10 2011-05-10 Numenta, Inc. Hierarchical temporal memory based system including nodes with input or output variables of disparate properties
US9092593B2 (en) 2007-09-25 2015-07-28 Power Analytics Corporation Systems and methods for intuitive modeling of complex networks in a digital environment
US20170046458A1 (en) 2006-02-14 2017-02-16 Power Analytics Corporation Systems and methods for real-time dc microgrid power analytics for mission-critical power systems
US9557723B2 (en) * 2006-07-19 2017-01-31 Power Analytics Corporation Real-time predictive systems for intelligent energy monitoring and management of electrical power networks
US20160246905A1 (en) 2006-02-14 2016-08-25 Power Analytics Corporation Method For Predicting Arc Flash Energy And PPE Category Within A Real-Time Monitoring System
US8131401B2 (en) * 2006-07-19 2012-03-06 Power Analytics Corporation Real-time stability indexing for intelligent energy monitoring and management of electrical power network system
US7937342B2 (en) * 2006-11-28 2011-05-03 Numenta, Inc. Method and apparatus for detecting spatial patterns
US7941392B2 (en) * 2007-02-28 2011-05-10 Numenta, Inc. Scheduling system and method in a hierarchical temporal memory based system
US8112367B2 (en) * 2007-02-28 2012-02-07 Numenta, Inc. Episodic memory with a hierarchical temporal memory based system
WO2008106615A1 (en) 2007-02-28 2008-09-04 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
US20080222064A1 (en) * 2007-03-08 2008-09-11 Larimer Daniel J Processes and Systems for Automated Collective Intelligence
WO2009020684A1 (en) * 2007-05-16 2009-02-12 Edsa Micro Corporation Real-time predictive systems for intelligent energy monitoring and management of electrical power networks
US8229722B2 (en) * 2007-05-16 2012-07-24 Power Analytics Corporation Electrical power system modeling, design, analysis, and reporting via a client-server application framework
EP2162853A1 (en) * 2007-06-29 2010-03-17 Numenta, Inc. Hierarchical temporal memory system with enhanced inference capability
US8127075B2 (en) * 2007-07-20 2012-02-28 Seagate Technology Llc Non-linear stochastic processing storage device
US8155943B2 (en) * 2007-10-12 2012-04-10 Power Analytics Corporation Systems and methods for automatically converting CAD drawing files into intelligent objects with database connectivity for the design, analysis, and simulation of electrical power systems
WO2009052407A1 (en) * 2007-10-18 2009-04-23 Numenta, Inc. System and method for automatic topology determination in a hierarchical-temporal network
US8175984B2 (en) * 2007-12-05 2012-05-08 Numenta, Inc. Action based learning
US20090216968A1 (en) * 2008-02-27 2009-08-27 Martin Gregory D Method and apparatus for storing sequential sample data as memories for the purpose of rapid memory recognition using mathematic invariants
US8175985B2 (en) 2008-03-19 2012-05-08 Numenta, Inc. Plugin infrastructure for hierarchical temporal memory (HTM) system
US7983998B2 (en) 2008-03-21 2011-07-19 Numenta, Inc. Feedback in group based hierarchical temporal memory system
US8407166B2 (en) * 2008-06-12 2013-03-26 Numenta, Inc. Hierarchical temporal memory system with higher-order temporal pooling capability
US8195582B2 (en) * 2009-01-16 2012-06-05 Numenta, Inc. Supervision based grouping of patterns in hierarchical temporal memory (HTM)
US20110082597A1 (en) 2009-10-01 2011-04-07 Edsa Micro Corporation Microgrid model based automated real time simulation for market based electric power system optimization
EP2548096B1 (en) * 2010-03-15 2017-10-25 Numenta, Inc. Temporal memory using sparse distributed representation
US11651277B2 (en) 2010-03-15 2023-05-16 Numenta, Inc. Sparse distributed representation for networked processing in predictive system
US8909950B1 (en) 2010-04-18 2014-12-09 Aptima, Inc. Systems and methods of power management
US8694283B2 (en) * 2010-09-17 2014-04-08 Siemens Aktiengesellschaft System and method for modeling conditional dependence for anomaly detection in machine condition monitoring
US9177259B1 (en) * 2010-11-29 2015-11-03 Aptima Inc. Systems and methods for recognizing and reacting to spatiotemporal patterns
US8645291B2 (en) 2011-08-25 2014-02-04 Numenta, Inc. Encoding of data for processing in a spatial and temporal memory system
US8825565B2 (en) 2011-08-25 2014-09-02 Numenta, Inc. Assessing performance in a spatial and temporal memory system
US8504570B2 (en) 2011-08-25 2013-08-06 Numenta, Inc. Automated search for detecting patterns and sequences in data using a spatial and temporal memory system
US9336774B1 (en) 2012-04-20 2016-05-10 Google Inc. Pattern recognizing engine
US9159021B2 (en) 2012-10-23 2015-10-13 Numenta, Inc. Performing multistep prediction using spatial and temporal memory system
US9904889B2 (en) 2012-12-05 2018-02-27 Applied Brain Research Inc. Methods and systems for artificial cognition
US9749253B2 (en) * 2013-03-14 2017-08-29 Silver Spring Networks, Inc. Technique for implementing a latency sensitive communication protocol in a wireless mesh network
US10534995B2 (en) 2013-03-15 2020-01-14 Qylur Intelligent Systems, Inc. Network of intelligent machines
WO2014149070A1 (en) * 2013-03-15 2014-09-25 Hrl Laboratories, Llc Neural network and method of programming
US20160154631A1 (en) * 2013-07-12 2016-06-02 Bryant G. CRUSE Method and system for machine comprehension
US10318878B2 (en) 2014-03-19 2019-06-11 Numenta, Inc. Temporal processing scheme and sensorimotor information processing
US10817785B2 (en) * 2014-08-09 2020-10-27 Fred Narcross Brain emulator support system
WO2017197375A1 (en) * 2016-05-13 2017-11-16 Princeton University System and methods for facilitating pattern recognition
US9792889B1 (en) * 2016-11-03 2017-10-17 International Business Machines Corporation Music modeling
US10769447B1 (en) * 2016-12-01 2020-09-08 Marc Joseph Kirch Synchronous convergent pulses reduce dimensions of serial surfaces
US20190065935A1 (en) * 2017-08-30 2019-02-28 International Business Machines Corporation Computational method for feedback in a hierarchical neural network
CN108107729B (zh) * 2017-12-15 2019-11-08 东华大学 基于类脑分层记忆机制的实时数据流智能化处理平台
US10970080B2 (en) 2018-02-08 2021-04-06 Marvell Asia Pte, Ltd. Systems and methods for programmable hardware architecture for machine learning
US11016801B1 (en) 2018-05-22 2021-05-25 Marvell Asia Pte, Ltd. Architecture to support color scheme-based synchronization for machine learning
US10929760B1 (en) 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Architecture for table-based mathematical operations for inference acceleration in machine learning
US10929779B1 (en) * 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Architecture to support synchronization between core and inference engine for machine learning
US10929778B1 (en) * 2018-05-22 2021-02-23 Marvell Asia Pte, Ltd. Address interleaving for machine learning
US10997510B1 (en) 2018-05-22 2021-05-04 Marvell Asia Pte, Ltd. Architecture to support tanh and sigmoid operations for inference acceleration in machine learning
US10891136B1 (en) 2018-05-22 2021-01-12 Marvell Asia Pte, Ltd. Data transmission between memory and on chip memory of inference engine for machine learning via a single data gathering instruction
US11205137B2 (en) 2018-06-15 2021-12-21 International Business Machines Corporation Distributed training in a parameter dataset
US10878321B2 (en) * 2019-02-28 2020-12-29 DeepCube LTD. Partial activation of multiple pathways in neural networks
US11681922B2 (en) 2019-11-26 2023-06-20 Numenta, Inc. Performing inference and training using sparse neural network
US11270127B1 (en) 2021-05-05 2022-03-08 Marc Joseph Kirch Synchronized pulses identify and locate targets rapidly

Family Cites Families (81)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US4766534A (en) 1986-10-16 1988-08-23 American Telephone And Telegraph Company, At&T Bell Laboratories Parallel processing network and method
US4845744A (en) 1986-10-16 1989-07-04 American Telephone And Telegraph Company, At&T Bell Laboratories Method of overlaying virtual tree networks onto a message passing parallel processing network
US5255348A (en) * 1991-06-14 1993-10-19 Nenov Valeriy I Neural network for learning, recognition and recall of pattern sequences
US7481453B2 (en) 1991-07-09 2009-01-27 Automotive Technologies International, Inc. Inflator system
US6400996B1 (en) 1999-02-01 2002-06-04 Steven M. Hoffberg Adaptive pattern recognition based control system and method
US5729661A (en) 1992-11-24 1998-03-17 Pavilion Technologies, Inc. Method and apparatus for preprocessing input data to a neural network
US7251637B1 (en) 1993-09-20 2007-07-31 Fair Isaac Corporation Context vector generation and retrieval
JPH0877010A (ja) 1994-09-07 1996-03-22 Hitachi Ltd データ分析方法および装置
US7786864B1 (en) 2000-09-08 2010-08-31 Automotive Technologies International, Inc. Vehicular RFID and sensor assemblies
US5712953A (en) * 1995-06-28 1998-01-27 Electronic Data Systems Corporation System and method for classification of audio or audio/video signals based on musical content
AU4238697A (en) 1996-08-29 1998-03-19 Cisco Technology, Inc. Spatio-temporal processing for communication
US6366896B1 (en) 1997-03-18 2002-04-02 William R. Hutchison Adaptive agent using neural network
US6028608A (en) * 1997-05-09 2000-02-22 Jenkins; Barry System and method of perception-based image generation and encoding
US6516416B2 (en) 1997-06-11 2003-02-04 Prism Resources Subscription access system for use with an untrusted network
US6353814B1 (en) 1997-10-08 2002-03-05 Michigan State University Developmental learning machine and method
US6195622B1 (en) * 1998-01-15 2001-02-27 Microsoft Corporation Methods and apparatus for building attribute transition probability models for use in pre-fetching resources
US6636631B2 (en) 1998-06-04 2003-10-21 Matsushita Electric Industrial Co., Ltd. Optical character reading method and system for a document with ruled lines and its application
US6567814B1 (en) 1998-08-26 2003-05-20 Thinkanalytics Ltd Method and apparatus for knowledge discovery in databases
US6122014A (en) 1998-09-17 2000-09-19 Motorola, Inc. Modified chroma keyed technique for simple shape coding for digital video
US6882992B1 (en) 1999-09-02 2005-04-19 Paul J. Werbos Neural networks for intelligent control
US6751343B1 (en) * 1999-09-20 2004-06-15 Ut-Battelle, Llc Method for indexing and retrieving manufacturing-specific digital imagery based on image content
US6468069B2 (en) * 1999-10-25 2002-10-22 Jerome H. Lemelson Automatically optimized combustion control
US6625585B1 (en) 2000-02-18 2003-09-23 Bioreason, Inc. Method and system for artificial intelligence directed lead discovery though multi-domain agglomerative clustering
US6917845B2 (en) 2000-03-10 2005-07-12 Smiths Detection-Pasadena, Inc. Method for monitoring environmental condition using a mathematical model
NZ503882A (en) 2000-04-10 2002-11-26 Univ Otago Artificial intelligence system comprising a neural network with an adaptive component arranged to aggregate rule nodes
US20020006121A1 (en) 2000-04-27 2002-01-17 Dileep George Adaptive diversity combining for wide band code division multiple access (W-CDMA) based on iterative channel estimation
US7054850B2 (en) 2000-06-16 2006-05-30 Canon Kabushiki Kaisha Apparatus and method for detecting or recognizing pattern by employing a plurality of feature detecting elements
EP1295252B1 (en) 2000-06-30 2006-12-27 BRITISH TELECOMMUNICATIONS public limited company Apparatus for generating sequences of elements
US6714941B1 (en) 2000-07-19 2004-03-30 University Of Southern California Learning data prototypes for information extraction
DE60142582D1 (de) 2000-10-13 2010-08-26 Fraunhofer Ges Forschung Verfahren zum überwachten trainieren eines iterativen künstlichen neuronalen netzwerks
WO2002063402A1 (fr) 2001-02-05 2002-08-15 Honda Giken Kogyo Kabushiki Kaisha Appareil, procede et programme d'apprentissage pour agent
US6574537B2 (en) 2001-02-05 2003-06-03 The Boeing Company Diagnostic system and method
US6947378B2 (en) 2001-02-28 2005-09-20 Mitsubishi Electric Research Labs, Inc. Dynamic network resource allocation using multimedia content features and traffic features
US6615211B2 (en) 2001-03-19 2003-09-02 International Business Machines Corporation System and methods for using continuous optimization for ordering categorical data sets
US7962482B2 (en) 2001-05-16 2011-06-14 Pandora Media, Inc. Methods and systems for utilizing contextual feedback to generate and modify playlists
US7797062B2 (en) * 2001-08-10 2010-09-14 Rockwell Automation Technologies, Inc. System and method for dynamic multi-objective optimization of machine selection, integration and utilization
US20040142325A1 (en) * 2001-09-14 2004-07-22 Liat Mintz Methods and systems for annotating biomolecular sequences
US7233781B2 (en) 2001-10-10 2007-06-19 Ochoa Optics Llc System and method for emergency notification content delivery
US6957241B2 (en) 2002-02-14 2005-10-18 Gallitzin Allegheny Llc FFT and FHT engine
US7035431B2 (en) 2002-02-22 2006-04-25 Microsoft Corporation System and method for probabilistic exemplar-based pattern tracking
US7203635B2 (en) 2002-06-27 2007-04-10 Microsoft Corporation Layered models for context awareness
US20060098886A1 (en) 2003-01-10 2006-05-11 Koninklijke Philips Electronics N.V. Efficient predictive image parameter estimation
US20040148520A1 (en) 2003-01-29 2004-07-29 Rajesh Talpade Mitigating denial of service attacks
US7627171B2 (en) 2003-07-03 2009-12-01 Videoiq, Inc. Methods and systems for detecting objects of interest in spatio-temporal signals
US8510083B2 (en) 2003-07-31 2013-08-13 The Boeing Company Method, apparatus and computer program product for constructing a diagnostic network model
JP3987013B2 (ja) * 2003-09-01 2007-10-03 本田技研工業株式会社 車両周辺監視装置
US7565451B2 (en) 2004-01-23 2009-07-21 Microsoft Corporation Adaptive dispatch of received messages to code using inter-positioned message modification
WO2005072431A2 (en) 2004-01-27 2005-08-11 Sarnoff Corporation A method and apparatus for combining a plurality of images
US7853456B2 (en) 2004-03-05 2010-12-14 Health Outcomes Sciences, Llc Systems and methods for risk stratification of patient populations
US7788109B2 (en) 2004-04-03 2010-08-31 Altusys Corp. Method and apparatus for context-sensitive event correlation with external control in situation-based management
US7565194B2 (en) 2004-05-12 2009-07-21 Zoll Medical Corporation ECG rhythm advisory method
WO2006137829A2 (en) 2004-08-10 2006-12-28 Sarnoff Corporation Method and system for performing adaptive image acquisition
US20060184462A1 (en) 2004-12-10 2006-08-17 Hawkins Jeffrey C Methods, architecture, and apparatus for implementing machine intelligence and hierarchical memory systems
TWI273409B (en) * 2005-01-18 2007-02-11 Sunplus Technology Co Ltd Pre-fetch technology by read merge mechanism
JP2006285899A (ja) 2005-04-05 2006-10-19 Sony Corp 学習装置および学習方法、生成装置および生成方法、並びにプログラム
US7577651B2 (en) 2005-04-28 2009-08-18 Yahoo! Inc. System and method for providing temporal search results in response to a search query
US7809722B2 (en) 2005-05-09 2010-10-05 Like.Com System and method for enabling search and retrieval from image files based on recognized information
US7739208B2 (en) 2005-06-06 2010-06-15 Numenta, Inc. Trainable hierarchical memory system and method
CA2573855A1 (en) * 2006-01-25 2007-07-25 Espeed, Inc. Systems and methods for facilitating completion of repurchase agreements
US20070192267A1 (en) 2006-02-10 2007-08-16 Numenta, Inc. Architecture of a hierarchical temporal memory based system
US7941389B2 (en) 2006-02-10 2011-05-10 Numenta, Inc. Hierarchical temporal memory based system including nodes with input or output variables of disparate properties
US20080208966A1 (en) * 2007-02-28 2008-08-28 Numenta, Inc. Hierarchical Temporal Memory (HTM) System Deployed as Web Service
US8732098B2 (en) 2006-02-10 2014-05-20 Numenta, Inc. Hierarchical temporal memory (HTM) system deployed as web service
US7840395B2 (en) 2006-03-10 2010-11-23 Edsa Micro Corporation Systems and methods for predictive monitoring including real-time strength and security analysis in an electrical power distribution system
US7826990B2 (en) 2006-02-14 2010-11-02 Edsa Micro Corporation Systems and methods for real-time system monitoring and predictive analysis
CA2646423A1 (en) 2006-03-10 2007-09-20 Edsa Micro Corporation Systems and methods for real- time protective device evaluation in an electrical power distribution system
US7840396B2 (en) 2006-03-10 2010-11-23 Edsa Micro Corporation Systems and methods for determining protective device clearing times used for providing real-time predictions about arc flash events
US7844440B2 (en) 2006-07-07 2010-11-30 Edsa Micro Corporation Systems and methods for real-time dynamic simulation of uninterruptible power supply solutions and their control logic systems
US7937342B2 (en) 2006-11-28 2011-05-03 Numenta, Inc. Method and apparatus for detecting spatial patterns
WO2008106615A1 (en) 2007-02-28 2008-09-04 Numenta, Inc. Spatio-temporal learning algorithms in hierarchical temporal networks
US7941392B2 (en) * 2007-02-28 2011-05-10 Numenta, Inc. Scheduling system and method in a hierarchical temporal memory based system
US8112367B2 (en) * 2007-02-28 2012-02-07 Numenta, Inc. Episodic memory with a hierarchical temporal memory based system
EP2162853A1 (en) 2007-06-29 2010-03-17 Numenta, Inc. Hierarchical temporal memory system with enhanced inference capability
US7676458B2 (en) 2007-08-28 2010-03-09 International Business Machines Corporation System and method for historical diagnosis of sensor networks
WO2009052407A1 (en) 2007-10-18 2009-04-23 Numenta, Inc. System and method for automatic topology determination in a hierarchical-temporal network
US8175984B2 (en) 2007-12-05 2012-05-08 Numenta, Inc. Action based learning
US8175985B2 (en) 2008-03-19 2012-05-08 Numenta, Inc. Plugin infrastructure for hierarchical temporal memory (HTM) system
US7983998B2 (en) 2008-03-21 2011-07-19 Numenta, Inc. Feedback in group based hierarchical temporal memory system
US8407166B2 (en) 2008-06-12 2013-03-26 Numenta, Inc. Hierarchical temporal memory system with higher-order temporal pooling capability
US8195582B2 (en) 2009-01-16 2012-06-05 Numenta, Inc. Supervision based grouping of patterns in hierarchical temporal memory (HTM)
EP2548096B1 (en) 2010-03-15 2017-10-25 Numenta, Inc. Temporal memory using sparse distributed representation

Cited By (10)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN104541306A (zh) * 2013-08-02 2015-04-22 奥克兰单一服务有限公司 神经行为动画系统
CN104541306B (zh) * 2013-08-02 2019-10-25 索美智能有限公司 神经行为动画系统
WO2016184377A1 (en) * 2015-05-15 2016-11-24 International Business Machines Corporation Architecture and implementation of cortical system, and fabricating an architecture using 3d wafer scale integration
US9886193B2 (en) 2015-05-15 2018-02-06 International Business Machines Corporation Architecture and implementation of cortical system, and fabricating an architecture using 3D wafer scale integration
US10503402B2 (en) 2015-05-15 2019-12-10 International Business Machines Corporation Architecture and implementation of cortical system, and fabricating an architecture using 3D wafer scale integration
US10613754B2 (en) 2015-05-15 2020-04-07 International Business Machines Corporation Architecture and implementation of cortical system, and fabricating an architecture using 3D wafer scale integration
CN109478241A (zh) * 2016-05-13 2019-03-15 努门塔公司 基于感觉运动的输入数据的推理和学习
CN109478241B (zh) * 2016-05-13 2022-04-12 努门塔公司 执行推理的计算机实现的方法、存储介质及计算设备
US12094192B2 (en) 2016-05-13 2024-09-17 Numenta, Inc. Inferencing and learning based on sensorimotor input data
US12093843B2 (en) 2016-05-13 2024-09-17 Numenta, Inc. Inferencing and learning based on sensorimotor input data

Also Published As

Publication number Publication date
WO2006063291A2 (en) 2006-06-15
US9530091B2 (en) 2016-12-27
US20060184462A1 (en) 2006-08-17
EP1836657A2 (en) 2007-09-26
US8175981B2 (en) 2012-05-08
CA2589491A1 (en) 2006-06-15
US20080201286A1 (en) 2008-08-21
WO2006063291A3 (en) 2007-06-28
IL183625A0 (en) 2008-01-20
US20120197823A1 (en) 2012-08-02

Similar Documents

Publication Publication Date Title
CN101107618A (zh) 用于实施机器智能和分级存储器系统的方法、架构和设备
Grossberg A path toward explainable AI and autonomous adaptive intelligence: deep learning, adaptive resonance, and models of perception, emotion, and action
Gendlin A process model
Arbib et al. The construction of reality
Hawkins et al. On intelligence
Thagard Brain-mind: From neurons to consciousness and creativity (Treatise on mind and society)
Goldstone et al. Categorization and concepts
Palm Neural assemblies
Velik A bionic model for human-like machine perception
Van der Schyff Music, culture and the evolution of the human mind: looking beyond dichotomies
Perlovsky et al. Neurally and mathematically motivated architecture for language and thought
Musser Putting Ourselves Back in the Equation: Why Physicists are Studying Human Consciousness and AI to Unravel the Mysteries of the Universe
US20200257503A1 (en) Auto-Programming for General Purposes and Auto-Programming Operating Systems
Freeman Brains create macroscopic order from microscopic disorder by neurodynamics in perception
van Duijn The biocognitive spectrum: biological cognition as variations on sensorimotor coordination
Wu et al. Learning to recognize while learning to speak: Self-supervision and developing a speaking motor
Stedman Cognitive science models: An Aristotelian–Thomistic appraisal
Morgavi et al. Growing up: emerging complexity in living being
Kane The Emergence of Mind: Where Technology Ends and We Begin
Yanagawa From Bacteria, a Consideration of the Evolution of Neural Network
Aprile et al. Enaction and Enactive Interfaces: A Handbook of Terms
Taylor et al. Observational learning: basis, experimental results and models, and implications for robotics
Palm Neural assemblies: an alternative approach to classical artificial intelligence
Mudiyanselage et al. Advancing Artificial Intelligence for Multi Modal Environments with Cognitive Computing Inspired Modality Independence
Frecska et al. The shamanic healer: Master of nonlocal information?

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C02 Deemed withdrawal of patent application after publication (patent law 2001)
WD01 Invention patent application deemed withdrawn after publication

Open date: 20080116