CN109643388A

CN109643388A - 用于递归皮层网络的系统和方法

Info

Publication number: CN109643388A
Application number: CN201680088610.9A
Authority: CN
Inventors: 迪利普·乔治; 肯尼思·坎斯基; D·斯科特·菲尼克斯; 巴斯卡拉·马西; 克里斯多佛·拉恩; 沃尔夫冈·勒拉奇
Original assignee: Vikaris Fpc Co
Current assignee: Insi Innovation Co ltd
Priority date: 2016-06-21
Filing date: 2016-06-21
Publication date: 2019-04-16
Also published as: JP2019520656A; EP3472714A1; AU2016410568A1; EP3472714A4; JP6828065B2; CA3028921C; AU2016410568B2; CA3028921A1; WO2017222508A1

Abstract

一种用于利用网络生成和推理型样的系统和方法，包括：提供具有父特征输入节点和至少两个子特征输出节点的递归子网的网络；以与网络的子网的节点连接一致的方式，通过网络层分层结构来传播节点选择，子网内的传播包括根据子网的约束节点在第二池的至少第二节点上实施选择约束；以及将网络的最终子特征节点的状态编译成生成的输出。

Description

用于递归皮层网络的系统和方法

技术领域

本发明总体上涉及人工智能领域，并且更具体地涉及一种用于人工智能领域中的递归皮层网络的新的且有用的系统和方法。

背景

尽管在计算机视觉、图像处理和机器学习方面取得了进步，但与人类的能力相比，识别视觉对象仍然是一项计算机未能做到的任务。从图像中识别对象不仅需要识别场景中的图像，还需要识别在各个位置中、在不同设置中且稍有变化的对象。例如，要识别一把椅子，必须了解使椅子成为椅子的固有属性。这对于人类来说是一项简单的任务。计算机努力处理众多种类型的椅子以及椅子可能存在的情况。当考虑在场景中检测多个对象的问题时，问题更具挑战性。存在用于对象识别的模型，例如卷积神经网络、HMAX模型、慢特征分析(SFA)和分层时间记忆(HTM，Hierarchical Temporal Memory)，但是这些方法无法获得接近理想识别性能的结果。对象检测更广泛地是型样(pattern)检测的问题。型样检测是图像处理之外的其他领域和媒介(例如语音识别、自然语言处理和其他领域)中的问题。此外，型样识别的反面是生成。生成型样有类似的问题，并且现有的方法类似地无法产生令人满意的结果。因此，人工智能领域中需要创造具有提高的对象识别(或“推理”)和生成的新的且有用的系统和方法。被指定为递归皮层网络的本发明提供了这样的系统和方法。

附图简述

图1A和图1B是优选实施例的系统的示意性表示；

图2是优选实施例的系统的一般表示的示意性表示；

图3是优选实施例的子网的示意性表示；

图4是用于生成具有优选实施例的横向约束节点的型样的子网的示意性表示；

图5是用于生成具有优选实施例的外部约束节点的型样的子网的示意性表示；

图6是用于生成具有优选实施例的时间约束节点的型样的子网的示意性表示；

图7是用于推理优选实施例的型样的子网的示意性表示；

图8是具有共享优选实施例的子特征节点的两个子网的网络变型的示意性表示；

图9是具有在两层之间划分的多个子网的网络变型的示例性示意性表示，其中一些子网共享子特征节点；

图10是用于创建优选实施例的网络的方法的示意性表示；

图11是用于网络的创建的方法的示例性实施方式；

图12是用于生成优选实施例的型样的方法的示意性表示；

图13是用于推理来自优选实施例的网络的型样的方法的示意性表示；

图14是具有各种约束节点的网络的示意性表示。

优选实施例的描述

本发明的优选实施例的以下描述并不旨在将本发明限制于这些优选实施例，而是使得本领域的任何技术人员能够制造并使用本发明。

1.递归皮层网络的系统

如图1A和图1B所示，优选实施例的系统包括多个子网100的递归皮层网络10。子网优选地包括至少父特征节点110、池节点120、父特定子特征节点130(或简称PSCF节点)以及至少约束节点140。系统用于提高网络内信息的不变性、选择性和共享。从某种意义上说，网络是分布式处理元件的网络，其对其传入的消息/信号执行求和、乘法、求幂或其他函数。可以通过网络通过传播节点激活来推理和/或生成型样。可以被建模为神经网络或贝叶斯网络的网络可以通过各种实施方式来被启用和被实现。在第一实施方式中，系统被实现为电子耦合的功能节点部件的网络。功能节点部件可以是被布置或配置在处理器中以执行指定功能的逻辑门。在第二实施方式中，系统被实现为被编程或被配置为在处理器上操作的网络模型。网络模型优选地是电子存储的软件，其编码网络的节点之间的操作和通信。网络10可以用于各种各样的应用，并且可以使用各种各样的数据类型作为输入，例如图像、视频、音频、自然语言文本、分析数据、广泛分布的传感器数据或其他合适形式的数据。另外，网络10可以被配置用于不同的操作模式，包括第一操作模式：生成模式，以及第二模式：推理模式。如图1A所示，网络10优选地是在各种父-子关系中的互连子网的分级组织的网络。网络可以可替代地是如图1B所示的子网的集合的单层或单个子网。本文描述的网络10的最终形式可以被称为递归皮层网络(RCN)，这是部分地因为在实现神经网络的独特形式(皮层网络)中使用了重复的子网型样。

优选实施例的分级网络10用于构造各层内的子网。如图2所示，子网100的各种实例和实例化优选地在网络10的层次结构中被构建、连接和递归地使用。分级网络10的架构可以通过算法或通过至少部分用户选择和配置来被构建。分级网络10可以被描述为神经网络中的特征节点和池节点的交替层。子网具有特征输入节点和特征输出节点，并且特征节点用于桥接或连接子网。如图2所示，通过使用跨越池桥接约束的约束节点和在空间上或在时间上不同的子网，特征节点可以被约束到各种不变型样。分级网络的每个节点将优选地具有父节点连接和子节点连接。通常，父节点连接优选地是在生成期间的输入以及在推理期间的输出。相反，子节点连接是生成期间的输出以及推理期间的输入。在单层(或非分级)子网的变型中，子网100被布置为同层级(siblings)。如下所述的子网100可以具有通过各种形式的约束节点的交互。

子网100可以在网络内以各种不同的配置来被设置。许多配置由约束节点确定，约束节点定义了子网内、子网之间、或者甚至网络之间的节点选择。此外，可以将子网设置为具有不同的或共享的子特征。子网附加地被布置在分级层中。换句话说，第一子网可以是第二子网的父网络。类似地，第二子网可以附加地是第三子网的父网络。子网的层优选地通过共享的父特征节点和子特征节点连接。优选地，顶层子网的子特征节点是较低子网的父特征节点。相反地，子网100的父特征节点可以作为较高子网100的子特征节点参与。顶层子网的父特征节点优选地是对系统的输入。底部/最低子网的子特征优选地是系统的输出。连接多个子网100会在网络中的几个节点处引入多父交互。这些交互可以使用节点中的不同概率模型来被建模。

在层次结构中连接子网100可以用于通过子网重用来促进紧凑和压缩的表示。一个子网的父特征节点可以作为多个父子网中的子特征节点参与。类似的好处在于，子子网的不变表示可以在多个父子网100中重复使用。适用的一个示例是表示视觉对象的网络10。较低层子网100可以对应于对象的部分，并且较高层子网(即，上层子网)可以表示这些部分是如何聚集在一起形成对象的。例如，较低层子网可以对应于奶牛的图像的身体部分的表示。每个身体部位都将被不变地表现出来，并且能够容忍位置转换，比如平移、比例变化和变形。然后，较高层子网将指定身体部分是如何聚集在一起来表示奶牛。奶牛的较低层的身体部分中的一些可以在较高层处被重新使用来表示山羊。例如，这两种动物的腿类似地移动，因此这些部分可能会被重复使用。这意味着，针对奶牛的腿学习的不变表示可以自动重新用于表示山羊。

系统可以用于推理或生成。推理可以包括型样检测、分类、预测、系统控制、决策制定以及涉及从数据推理信息的其他应用。生成可以包括产生静态图形、视频图形、音频媒体、文本内容、选择动作或响应，或者基于高层输入合成的任何合适的媒体。在优选实施方式中，网络10可以选择性地用于推理或生成，并且在一些变型中可以同时促进两种操作模式。当网络10用于推理应用时，网络10的操作优选地从已经被减少、转换或提取为数据特征的样本数据开始。数据特征优选地是属性及其值的规范。特征向量优选地是数据样本的实例的一组特征。例如，如果将网络应用于图像数据的推理，则图像可以被细分为多个图像块，并且多个块中的像素型样被用作特征。优选地，输入数据特征被发送、馈送到或定向到网络10的相应子特征节点。换句话说，数据特征被定向到子网100的最低层的子特征节点。在推理操作中，节点优选地对信息进行操作，并通过网络10的层次结构来传播节点选择/处理，直到从顶层子网100的父特征获得输出。存在在层次结构中向上传播信息(至较高的父层)且向下传播信息(向最终子特征)的组合。推理期间在层次结构中向下投影允许网络通过使用想象/生成功能将推理的结论与到输入子特征的输入数据进行比较来提高准确度。在推理中，输出优选地是推理的信息。例如，如果对图像的对象检测中使用推理，则输出可以是检测到的对象的标识。当网络10用于生成应用时，网络10的操作优选地从一般生成请求开始，该请求被定向、馈送或传递到顶层子网100的父特征节点。在生成操作中，节点优选地对信息进行操作，并且沿着网络10的层次结构向下传播节点选择/处理，直到从底层子网100的子特征节点获得输出。更明确地说，顶层子网100同时生成样本。顶层子网100的输出样本确定哪些较低层子网100是活动(active)的。然后从较低层子网100同时生成样本。该输出确定了更低层处的活动子网100。该型样继续通过网络10的各层，直到最终从子网100的最低层生成样本。在生成中，输出优选地是模拟输出。例如，如果网络10用于图像生成，并且输入是对象的名称，则输出优选地是表示该对象名称的图像。更优选地，生成和推理涉及混合(hybrid)或混杂(mixed)输入方法。生成操作可以附加地依赖于对子特征节点的输入，该输入是部分完整的、有噪声的、失真的、来自先前实例的，或者可以作为生成过程的一般指导。在一个变型中，生成优选地包括获得对半个图像的图像输入的系统。半个图像输入被输入到子特征中。然后，网络10被提示生成另一半的可能性。在一些变型中，网络10可以包括连接的子网，使得连接跃过层。当其它子网被馈送到相应层时，层跃子网100的输出优选地参与选择活动子网100。

如图3所示，子网100用于提供父特征和子特征之间的节点选择操作。子网100是网络10的基本构建块(building block)。在生成的情况下，子网100优选地从较高层特征映射或联网到一组较低层特征，使得较低层特征活动(例如，图像的视觉特征)由较高层特征(例如，对象名称)的活动确定。在推理的情况下，子网优选地从较低层特征映射或联网到较高层特征，使得较高层特征活动(例如，对象名称)由较低层特征(例如，图像的视觉特征)的活动确定。子网100的一般架构优选地包括作为父特征节点110的单个顶级节点。父特征节点110(PF1)优选地包括到至少两个池节点120(P1和P2)的连接。每个池节点120优选地包括到多个PSCF节点130(X1、X2、X3、X4、X5、X6)的连接。约束节点140(C1、C2、C3)可以附加地在子网100内。约束节点140优选地连接到其他PSCF节点130。约束节点140定义至少两个PSCF节点130之间的制约(limitation)、规则和限制(restriction)。PSCF节点130优选地连接到子特征节点150(CF1、CF2、CF3、CR4、CF5、CF6)。网络10内的子网100的实例可以与或者可以不与其他子网共享共性。每个节点的函数运算可以在连接的数量和配置、连接加权和/或任何其他方面变化。在一些边缘情况(some edge cases)下，子网可以不仅仅包括一个节点选择选项。在一个示例性边缘情况下，可以定义没有选择选项的子网，使得父特征的激活导致子特征的激活。例如，父特征节点可以连接到一个池，然后一个池连接到一个PSCF节点。

网络的节点优选地被配置为操作、执行或与概率交互进行交互，该概率交互确定节点激活、选择、ON/OFF或其他合适的状态。当由父节点激活时，节点将优选地根据节点的选择函数来触发连接的子节点的激活。尽管可以替代地使用其他合适的节点模型，节点优选地表示二进制随机变量或如贝叶斯网络中的多项随机变量。特征节点优选地是可以具有多个父节点和多个子节点的二进制随机变量节点。父特征节点110和子特征节点150被认为是特征节点。当涉及多个父节点(即，通过父连接/输入连接来连接的多个节点)时，父连接之间的交互优选地被视为连接的叠加。例如，当任一父节点为ON时，子特征节点优选为ON(即，被选择、被激活等)。可以在节点中使用正则(canonical)模型(例如，噪声-或(OR)门和噪声-Max门)对多父交互进行概率建模。特征节点的子连接优选地对特征和池之间的概率关系进行编码。在优选实施方式中，如果特征是活动的，则特征的所有池都是活动的，但是这种激活可以根据概率表或任何合适的机制来修改。如下表所示，从节点到池节点的每个链接都对类P(池|特征)的概率表进行编码。

特征\池	假	真
			假	1-q	q
真	p	1-p

在池节点为ON的情况下，当特征为ON时，p和q将为零。然而，可以替代地使用p和q的其他值。池节点120优选地被视为二进制节点。池节点120优选地具有一个父连接，其表示上面所示的概率表。池节点120可以具有到子节点的多个连接。在一个变型中，子节点连接表示瞬时(instant-by-instant)连接。瞬时连接优选地在具有相关联的概率的池成员上实现或(OR)选择函数。换句话说，瞬时连接表示多项随机变量连接。例如，让特定池中有Npm个池成员。考虑二项随机变量M，其取值为1…,Npm。来自池节点120的输出链路表示概率分布P(M|池)。按顺序考虑，P(M|池)定义了特定池成员被选为序列的起始成员的概率。然后，通过遵循该池成员的时间选择函数(即，转换函数)以时间顺序生成随后的池成员，直到到达端点或解决了网络的操作。池成员(也被建模为PSCF节点130的可能激活的集合)优选地被配置为充当二进制随机变量，当根据分布P(M|池)选择池时，至少一个变量被选择。池成员表示子特征的函数拟合(functional combinations)。例如，池成员1可以是子特征1和子特征2进行与(and)操作。约束节点优选地被视为二进制节点，其观测值被实例化为1。这些约束节点中使用的概率表实现了在连接到约束节点的父节点之间实施(enforce)的约束类型。约束通常是与(AND)或者或(OR)约束，但可以是任何合适的选择函数。约束节点可以附加地是具有大于成对(pair-wise)连接的节点。

父特征节点110用作高层特征节点。在生成操作模式中，父特征节点110是子网100的输入。在推理操作模式中，父特征节点110是子网100的输出。父特征节点110被配置为在被激活时实现选择函数。选择函数优选地是逻辑函数，例如用于节点选择的与(AND)、或(OR)、非(NOT)、异或(XOR)操作的基于布尔的选择函数。例如，如果P1和P2是PF1的池节点，并且PF1被配置用于与(AND)选择函数，那么PF1的激活将激活P1和P2池。选择函数可以包括随机选择机制，用于确定在不同选项之间的选择，例如如果操作符是异或(XOR)，则只能选择一个连接的节点。另外，随机化的选择可以根据父特征节点110和池节点120之间的连接的节点连接权重而被偏置或加权。选择函数可以替代地是概率选择函数或用于选择连接选项的任何合适的函数。

池节点120用作从子特征的集合中选择的节点。与池节点120相关联的子特征优选地共享关系、具有相关性或者是彼此的变型。例如，池可以用于像素型样的位置的不同变型。换句话说，PSCF节点130优选地是特征的变型的不变表示。在图3中，P1是对垂直线的3种不同平移的不变表示，并且P2是对水平线的3种不同平移的不变表示。在本文中，术语池可用于指对于特定池节点120的PSCF节点的可能集合。PSCF节点130的可能集合优选地是具有到池节点120的连接的任何PSCF节点130。池可能会受到约束。例如，池的成员可以是集合{a,b and c,d,e}，其中a、b、c、d、e是子特征。类似于父特征节点110，池节点120被配置为在被激活时实现选择函数。选择函数可以是任何合适的函数，但是优选地是如上针对父特征节点110所述的逻辑运算符。选择函数可以类似地被随机化、偏置和/或加权。池节点120的选择函数优选地选择、触发、激活或以其他方式向相应的PSCF节点130发送信号。此外，可以基于激活的约束节点来限制或覆写选择函数。激活的约束节点可以基于PSCF节点130(通过约束节点连接的节点)的选择来定义池内选择哪个节点。类似地，它可以确定对于池节点120的可能PSCF节点130的集合和/或确定池节点120的权重或偏好。子网内的池节点120可以被顺序地评估，使得约束节点可以在适当的时候应用于其他池。

PSCF节点130用作不变特征选项的选项。PSCF节点130映射到一个子特征，并且PSCF节点130只有一个父池节点120。PSCF节点130可以附加地与约束节点140连接或耦合。约束节点140优选地定义多个PSCF节点130之间的关系。约束节点140优选地连接到不同池、不同时间和/或不同子网100的其他PSCF节点130。PSCF节点130优选地不在子网之间共享。然而，子特征节点150(其可以是较低子网的父节点)可以共享到多个子网的连接。

约束节点140用于限制子网100中允许的型样的种类。约束节点140优选地连接到至少两个PSCF节点130。多于两个的PSCF节点130可以替代地通过约束节点连接。约束节点140可以附加地在任何合适类型的节点之间。约束节点140可以在池节点120之间。约束节点可以附加地在两种类型的节点之间。例如，约束节点可以连接PSCF节点130和池节点120。在本文中，约束节点连接PSCF节点的变型被示出为优选实施方式，但是约束节点可以用于在网络10中的(任何类型的)节点的任何集合之间实施约束。如图14所示，约束节点可以在池节点之间、池节点和PSCF节点之间或者网络的任何合适的节点之间。PSCF节点130优选地不属于相同的池，并且在一些情况下不在相同的子网中。约束节点140优选地连接相同层的PSCF节点130，但是它们可以替代地连接不同层中的子网100。另外，任何合适的PSCF节点130可以具有连接的约束节点140，并且具有任何合适数量的连接的约束节点140。约束节点可以在其他池中、在其他子网100中和/或在不同时间中的节点的选择内实施限制、规则和约束。优选地，以有序的方式评估网络10，使得通过约束节点140连接的PSCF节点130优选地不被同时评估。当第一PSCF节点130是活动的或被选择时，连接到第一PSCF节点130的任何约束节点140被激活。随后，在连接的PSCF节点上激活/实施约束节点140的限制。与其他节点类似，约束节点140可以具有选择函数，该函数确定它如何激活PSCF节点。约束节点140优选地影响池节点120可如何选择PSCF节点。在一个变型中，约束节点140的选择函数可以是与(AND)逻辑运算符，使得如果一个节点是活动的，则实施连接的PSCF节点的选择。在另一变型中，约束节点140的选择函数可以是或(OR)逻辑运算符，使得它修改池内的可能的PSCF节点。可使用任何合适的选择函数。一些约束节点140可以具有基本或简单的约束，其中，一个节点的激活对应于第二节点的选择。这些可以被表示为没有节点的直接连接，因为选择逻辑是节点之间的直接对应。约束节点140的优选变型可以包括横向约束节点142、外部约束节点144和时间约束节点146。

横向约束节点142用于基于子网100的池节点120之间的交互来限制子网的型样的种类。横向约束节点142优选地是实施的规则或第一池节点120的PSCF节点130和第二池节点120中的至少第二PSCF节点130之间的节点连接，其中第一和第二池节点共享公共父节点110。使用横向约束，使得生成的不同配置对应于角的水平平移(translation)。在该情况下，父特征可以被视为表示角的不同平移。也就是说，父特征具有对角平移不变的角的表示。

如图4所示，子网的示例性实施方式可以包括两个池节点120(P1和P2)、六个PSCF节点130(X1、X2、X3、X4、X5、X6)(其中对于每个池节点120三个PSCF节点一组)、连接到一对PSCF节点130的三个横向约束节点142(C1、C2和C3)、以及单独连接到PSCF节点130的六个子特征节点150(CF1、CF2、CF3、CF4、CF5、CF6)。父节点的选择函数是与(AND)运算符，使得P1和P2同时被选择。选择父特征会自动选择连接到父特征节点的池P1和P2。P1和P2都被配置为对于特定时刻的异或(XOR)逻辑运算符。作为异或(XOR)运算符，一次仅选择一个后代(descendant)(即，连接的PSCF节点130)。在每个池节点P1和P2随机选择其PSCF节点之一的模式中，横向约束节点142和它们的连接对在相同父节点的不同池的子特征选择之间强加(impose)的约束进行编码。在该实施方式中，C1和C2是与(AND)运算符。因此，如果X1被激活，则C1的连接会实施X4的激活。类似地，如果X2被激活，则C2的连接会实施X5的激活。C3可以被实现为异或(XOR)。如果X3被激活，则X3、X5和X6之间的C3的连接将阻止P2选择X5和X6，因为只能选择X3、X4和X5中的一个。这些仅用作简单的示例性连接和选择函数。每个节点可以具有任何合适的函数和连接架构。在该示例中，如果横向约束节点142不在适当位置，则每个池将被允许彼此独立地选择子特征，并且父特征将对应于九种不同型样的不变表示，这九种不同型样对应于可以通过从P1选择一个特征和从P2独立地选择另一个特征来生成的所有组合。在一些子网中，可以不使用约束节点140。

外部约束节点144用于在不同的子网100中实施不变型样。类似于横向约束节点142可如何通过对一个池节点120中的被允许与另一个池中的PSCF节点一起的PSCF节点130强加(impose)约束来确保不同池中的表示彼此一致，外部约束节点144可以在层次结构中保持兼容性。外部约束节点144优选地创建可以在两个不同子网100之间创建选择交互的连接、规则或其他约束机制。外部约束节点144优选地连接至少两个PSCF节点130。类似于其他约束节点，它们在被激活时实施选择函数。如图5所示，分级网络10可以配置有至少顶层子网100，其向至少两个较低层子网100提供输入。当从网络生成样本时，顶层子网100的生成的特征被用作从较低层子网100同时生成样本的输入。在没有强加外部约束的情况下，池1和池2生成的样本与池3和池4生成的样本不协调。然而，图5中以粗体示出的外部约束节点提供了用于实现较低层中的子网100的池之间的协调的机制。如图5所示，PSCF节点130可以具有在其上实施的一种以上类型的约束节点。横向约束节点142强加相同网络的不同池中PSCF节点130之间的协调，并且外部约束节点144强加不同子网100中PSCF节点130之间的协调。约束节点140优选地被设置为不会导致冲突(例如，其中一个约束激活节点，并且另一个约束指定它不应当被激活)。约束节点140的排序、或对施加约束节点140的顺序的启发法、或其他合适的规则可以用来解决约束节点140之间的冲突和竞态。

时间约束节点146用于在网络10和为其他时间实例操作的子网100上实施关系。在基本层上，池的成员(例如，具有共享的父池节点120的PSCF节点130)可以具有指定它们在时间上发生的顺序的关系。时间约束节点146优选地是简单的直接连接约束，其中一个节点的激活/选择实施第二实例中指定节点的选择。时间约束146可以不具有严格的排序。给定在第一时刻发生的池成员或池成员的集合，时间约束节点146可以指定可以在第二时刻发生的一组可能的池成员。在另一描述中，约束节点140可以类似于马尔可夫链中的规范起作用。如图6的示例性时间约束所示，在时间t时处PSCF节点“a”的激活在时间t+1处转到PSCF节点“b”，并且在时间t处PSCF节点“b”转到在时间t+1处的PSCF节点“c”。在第一池的情况下，该示例使用两个时间片的表示来表示“a”到“b”到“c”的序列。对于第二池，时间约束节点定义了“d”到“e”到“f”的序列。时间约束节点146的选择函数可以类似于其他节点而任意复杂。例如，当节点a在时间t处活动时，节点b或c可以在时间t+1处活动。可以附加地使用较高阶时间关系。时间约束节点146优选地定义按时前进到后续实例的关系，但是时间约束节点可以定义多个实例之间的关系。例如，时间约束节点可以定义从一个PSCF节点到三个不同时间实例的网络的约束。另外，在一些变型中，时间约束节点146甚至可以定义对先前实例的追溯约束。例如，推理当前时间处对一个型样的检测可以加强对先前时间处的型样的检测的提示。这里，网络10的实例优选地是网络10对于不同时间实例的操作或使用。时间约束节点146可以特别用于基于时间的媒体(例如视频、音频或计算机图形)上的生成或推理应用。虽然这里时间约束节点特定于基于时间的应用，但是根据问题领域或用例，类似的约束节点140可以在网络10的不同实例之间沿着其他维度来被定义。

如图7所示，网络10可以被配置用于推理或识别用例场景。当网络10被配置用于推理时，节点选择的传播从数据特征(即，最低子特征)沿层次结构向上流动，并且本质上以类似的方式但以相反的方式操作网络10。详细特征用来推理上层中的一般特征，而不是从高层特征转到详细特征。在应用中，推理可用于获取图像特征(图像属性或子图像分量)并基于这些特征提取信息。推理配置的网络10优选地使用节点的后验分布(即，在给定证据的情况下的参数的概率)和子节点中提供的证据来沿层次结构向上传播激活、选择和ON/OFF状态。这可以被表征为置信度(belief)传播算法的变体，其可以用于使用局部消息传递在感兴趣节点处导出后验分布的近似值。由于网络中的所有节点优选地被视为二进制，节点的后验是通过其节点在给定证据(子节点)的情况下指定节点为ON或OFF的概率的机制。节点优选地被配置为通过节点之间所示的连接信道来传递消息。连接可以是用于消息的双向管道(conduit)。流向上游的消息是似然性消息且向下游是概率消息。如图7所示，子网可以基于输入图像来传播消息。该示例中的消息表示了在给定对应于消息的来源的节点是ON的情况下的证据的似然性。因此与节点CF1相比，节点CF2具有较高的似然性，因为CF2的表示更好地与输入证据对齐。池的似然性是池成员的似然性的最大值。当向网络呈现对应于后续时刻的输入的序列时，网络可以按时传播消息并进行时间推理。在该情况下，不同节点的评估表示在给定证据的序列情况下的概率。

如图8所示，网络10可以附加地包括至少两个子网100，其具有重叠的、覆盖的或共享的子特征节点，其用于引入多父交互。两个子网的共享子特征优选地包括两个不同子网的两个PSCF节点，这两个不同子网具有到相同子特征节点的子连接。在推理期间，这种网络架构会产生通过解释消除(explaining-away)效果。例如，由两个子网共享的特征节点“b”可以与噪声-或(OR)机制模型一起使用，使得两个子网可以竞争呈现给节点的证据。竞争可以通过置信度传播机制或类似的消息传递机制来起作用。子网优选地是单独配置的，每个子网具有池成员、约束连接和PSCF节点的单独表示。作为两个不同子网的一部分参与两个不同父特征的子特征在型样的生成期间和推理期间可以具有不同的激活值。如图9所示，当递归地使用时，可以被表征为递归皮层网络的网络可以形成任意大且复杂的网络10。

2.用于创建神经网络的方法

如图10所示，用于创建优选实施例的神经网络的方法S10可以包括递归地构造网络层次结构S100中的多个子网，网络层次结构包括将第一层子网的子特征节点与第二层子网的父特征节点的子特征节点耦合S110；在子网内，设置父特征节点连接到至少两个池节点的选择函数S120；在子网内，设置池节点连接到至少两个父特定子特征节点(简称PSCF节点)的选择函数S130；通过约束节点链接至少一对PSCF节点S140；以及以与子网的节点连接和子网的节点的选择函数一致的方式沿网络层层次结构向下传播节点选择S150。方法优选地用于配置、创建、制造神经网络或将神经网络变换成使能的系统。由方法S10创建的网络还用于通过使用较低级和较高级之间的协调连接来促进不变性；通过约束节点的选择性；以及通过特征的稀疏分布式表示的共享学习。完成的网络优选地基本上类似于上述系统，但是任何合适的变型或替代方案都可以被结合到方法S10中。当用于生成时，输出特征节点优选地被连接以将特征组装成生成的型样。在一个实施方式中，子特征节点的输出被组装成生成的图像。在另一实施方式中，子特征节点的输出被组装成音频信号。当用于推理时，子特征节点接收数据输入。在实施方式中，从图像处理技术导出的计算的图像特征被馈送到子特征节点中。类似地，输入数据可以是音频、数据信号或任何合适的数据特征。

块S100包括递归地构建网络层次结构中的多个子网，其用于重新使用分层网络中的子网型样。子网优选地通过特征节点互相接口连接：父特征节点和子特征节点。父特征节点优选地位于网络层次结构的顶部，并且连接从父特征节点分支出来最终到子特征节点。子网优选地具有多个可能的子特征节点。这是一组节点，它们是网络的叶子，或者，正如它们可以替代地被描述，其是较低级(level)/层(layer)节点。这里，节点可以被描述为人工神经元、人工神经节点(neurode)、处理元件、处理单元，或者人工神经网络的节点的任何合适的描述。节点优选地是操作部件，包括父连接和子连接，通过父连接节点接收信号以激活，并且通过子连接节点发送信号给连接的节点以激活。激活可以附加地被描述为选择、设置节点的状态(例如，ON或OFF状态)或任何合适的输出。激活信号优选地是二元的，但是它可以具有任何合适数量的状态。子网优选地包括父节点、池节点、PSCF节点、可选的约束节点以及子特征，但是这种节点分类和类型可以被合适地调整。例如，当配置成处理器中的物理逻辑块时，PSCF节点可以在功能上与子特征节点结合。子网优选地是单独配置的，每个子网具有池成员、约束连接和PSCF节点的单独表示。换句话说，每个子网通常与每个子网不同，而是包括定制的连接、节点数量、约束和其他单独设置的配置。然而，子网的架构型样优选地在子网中是一致的。节点和连接的设置优选地通过训练数据、实时数据或历史数据自动进行。节点的设置可以附加地是半自动的，通过用户输入进行调整和定制。网络的设置可以是静态的，或连续地或周期性地更新的。可以使用任何合适数量的子网层。另外，递归地构造多个子网可以包括针对第二时间实例构造至少第二网络；构造具有重叠的、覆盖的或共享的子特征节点的子网。

块S110包括将第一层子网的子特征节点与第二层子网的父特征节点的子特征节点耦合，用于通过父特征节点和子特征节点连接子网。子网优选地被组织成层。相同层中的子网优选地具有连接到相同父子网或者与父子网在相同层中的至少子网的父节点。子网的层次结构优选地从具有开放父特征节点端口的最高层开始，并向下扩展到具有开放子特征节点端口的最低层。子网可以被分成不同的层，其中“子”子网可以从“父”子网传下来(descend)。然而，在一个变型中，子网可以被配置为如任意层中的子网进行交互。这也可以通过具有中间特殊情况子网来实现，该中间特殊情况子网具有简单的网络，其中选择函数是恒等(identity)函数，其中有一个父节点、一个池、一个PSCF和一个子节点。如果父节点被激活，则子节点被激活。可以配置任何单层内的任何合适数量的层和任何数量的子网。在一个变型中，如图8和图9所示，第一子网的至少一个子特征节点可以与相同层中的第二子网共享。此外，方法可以包括设置节点内的节点的后验分布模型，该模型用于实现对推理或检测用例的置信度传播。后验分布优选地提供在给定证据(例如，子节点)情况下节点被激活(即，ON)的概率。

块S120包括设置连接到子网内的池节点的父特征节点的选择函数，其用于定义并配置父特征的池的激活。优选地，父特征节点的选择函数是选择所有连接的池节点的与(AND)函数。或者，选择函数可以是异或(XOR)函数(仅选择池中的一个)、或(OR)函数(随机选择至少一个的池节点)、或任何合适的逻辑运算符函数。附加地或替代地，概率建模可以被结合到布尔逻辑函数、概率选择函数或其他合适的选择函数中。不同的池节点可以接收增强的/优先的加权或降优先级的(de-prioritized)/减少的加权。随机选择机制可以与概率建模合作使用，以选择池节点。选择函数可以是在数字媒介中编码的操作指令。或者，操作指令可以被编码到物理处理器门架构中。

块S130包括在子网内设置连接到至少两个PSCF节点的池节点的选择函数，其用于定义并配置相关的、相关联的特征节点或父节点的其他子特征的激活。选择函数优选地被配置为在由父特征节点激活时被触发。池节点的选择函数优选地是选择子PSCF节点之一的异或(XOR)函数。选择函数可以是如上所讨论的任何合适的替代函数。可以基于选择函数的操作来选择一个或更多个PSCF节点。PSCF节点的池用于设置一组特征的不变型样。根据子网的层，不变型样可以是具有任何适当抽象层次的型样。例如，较低层中的PSCF节点的池可以对应于沿着一个维度的像素的矩形型样的不同平移。示例性的上层可以包括对应于不同类型的动物腿的PSCF节点的池。PSCF节点可以对应于任何合适的不变型样集合。

块S140包括通过约束节点链接至少一对节点，其用于定义网络的隔离部分之间的交互。约束节点优选地在至少两个PSCF节点之间，但是可以替代地在任何节点集合之间。通过约束节点链接PSCF节点优选地允许选择一个节点来影响并改变另一个池的选择函数的行为。如上所述，三种优选类型的约束节点包括横向约束、外部约束和时间约束。这些约束是对于空间和/或时间形式的数据的优选约束形式。如果替代网络或子网考虑到其他数据维度，则可以附加地或替代地使用其他形式的约束。约束节点可以附加地包括如对其他类型的节点所描述的选择函数。可以类似地设置选择函数。可以为约束节点配置任何合适数量的输入和输出连接。在基本实施方式中，约束节点是与(AND)逻辑函数，当连接的PSCF节点选择或激活约束节点时，则与(AND)逻辑函数实施连接的PSCF节点的选择。约束节点可以包括定义的输入连接，其定义用哪个PSCF节点来激活约束节点。另外，约束节点可以以混合模式来使用PSCF节点的所有连接，其中，指示激活或选择的第一信号触发约束节点在其余连接的PSCF节点上实施选择约束(其中池节点尚未选择PSCF节点)。

在一个变型中，块S140可以包括将第一池的第一节点链接到第二池中的第二节点，其中，第一池和第二池共享相同子网中的相同父特征节点。同层级成员之间的这种约束优选地被定义为横向约束。横向约束节点优选地在至少两个PSCF节点之间，但是可以替代地在任何节点集合之间。在另一变型中，块S140可以包括将第一子网的第一节点链接到第二子网的第二节点，其中第一子网和第二子网是不同的子网。不同子网之间的这种约束节点被定义为外部约束节点。第一和第二子网优选地在网络内的相同分级层中，但是可以替代地在不同的层中。类似地，外部约束节点优选地在至少两个PSCF节点之间，但是可以替代地在任何节点集合之间。

在另一变型中，块S140可以包括将第一网络的第一节点链接到第二网络中的第二节点，其中，第一网络被指定用于第一实例(例如，时间t)，并且第二网络被指定用于第二实例(例如，时间t+1)。不同时间之间的这种约束节点是时间约束节点。第一和第二实例可以是对等效网络但只是在两个不同的时间段处的评估。时间约束节点优选地在至少两个PSCF节点之间，但是可以替代地在任何节点集合之间。第一和第二实例可以替代地是分配给网络评估的序列的两个不同网络的评估。在又一变型中，第一和第二实例可以通过子特征来被定义(其中一组特征用于一个时间段，并且第二组特征用于不同的时间段)。在该变型中，时间约束也可以被认为是横向或外部约束。此外，根据使用下层(underlying)网络架构的独特用例，可以采用其他形式或类型的约束节点。

块S150包括以与子网的节点连接和与子网的节点的选择函数一致的方式通过网络层层次结构来传播节点选择，其用于利用输入激活网络。网络可用于生成型样和/或推理型样。生成型样优选地使用高层或抽象型样输入，并变换、投影或合成新的或潜在的对象或解释。推理型样优选地将表示对象、事件或元概念的物理证据的数据变换成通过网络通过传播显现(manifest)的型样的解释。生成和推理模式可以附加地至少部分地使用其他模式来改进、增强或促进生成或推理型样输出。类似地，一种操作模式可以用于增强网络中节点的概率模型。训练数据优选地通过具有训练引擎的系统来被迭代地或连续地传播，该训练引擎根据任何合适的启发法、算法或方法来更新概率模型。节点选择的传播优选地如以下方法中所描述的那样被实现，但是可以替代地使用任何合适的方法。

如图11所示，方法S10的示例性实施方式是三个子网和节点的层次结构，这些节点设置有各自的选择函数。父节点设置有由实心箭头连接表示的与(AND)关系函数，使得同时选择每个连接。选择父特征会自动选择连接到父特征节点的池节点。池节点设置有由虚线箭头连接表示的异或(XOR)关系函数。在任何特定时间处，只允许选择一个后代。此外，函数使用随机选择过程来选择PSCF节点之一。三个横向约束节点使用与(AND)函数，使得当选择了一个PSCF节点时，选择了另一个池中的对应的节点。

3.用于从网络生成型样的方法

如图12所示，用于从优选实施例的网络生成型样的方法S20可以包括：提供具有父特征输入节点和至少两个子特征输出节点的递归子网的网络S210；以与网络的子网的节点连接一致的方式通过网络层层次结构来传播节点选择S220，其包括在父特征节点处选择与父特征节点的函数一致的池节点S230；在池节点处，选择对应于子网的子特征的至少第一PSCF节点S240；响应于至少第一PSCF节点的选择，在至少第二PSCF节点上实施选择约束S250；以及将网络的最终子特征编译成生成的输出S260。方法S20用于基于网络型样来合成、模拟或产生型样。网络优选地是如上所述的神经网络或贝叶斯网络，并且在计算设备上可操作。方法S20优选地将顶层父特征节点的高层输入变换成可以从子特征节点的输出组装或组合的详细数据特征。方法优选地针对网络的单个实例实现，但是方法S20可以附加地被扩展为周期性地或连续地针对多个实例工作。类似地，方法可以包括任何合适的调整，使得网络可以与附加网络协作地操作。型样生成可以应用于各种媒介和领域，例如计算机图形学、语音合成、物理建模、数据模拟、自然语言处理/翻译等。在一个实施方式中，方法S20可以用于基于上下文信息生成图像。在另一实施方式中，方法S20可以用于生成合成。可以修改型样生成以用于基于预测的应用。预测可以被认为是一种特殊情况，在该情况下，生成的内容被投射到未来的时间。这种实施方式可以包括预测金融趋势或数据分析。

块S210包括提供具有父特征输入节点和至少两个子特征输出节点的递归子网的网络，其用于实现具有实施的约束的递归皮层网络。网络优选地是如上所述或如方法S10中所创建的网络。任何复杂度的基本网络优选地具有至少两个层，其中一个顶层子网和较低层中的两个子网。递归子网的网络将优选地具有较大的复杂性，在层次结构中具有多个层。每个子网可以具有任何合适数量的子特征节点，从这些子特征节点，任何数量的后代/子子网可以用作较低层中的输入。例如，第一层中的子网可以具有五个池，池分别具有两个、三个、四个、五个和六个连接的子节点。对于总共二十个子节点，第二层可以具有二十个不同的子网，这些子网将这些子特征节点用作它们各自的父特征节点的输入。

块S220包括以与网络的子网的节点连接一致的方式通过网络层层次结构来传播节点选择，其用于选择、激活、开启或关闭，或者以其他方式设置网络中的节点的状态。传播节点选择可以包括发送电信号，该电信号充当触发器或激活器以诱导目标节点适当地激活。传播节点选择可以替代地包括向另一个节点发送消息或通信。协议可以就位以协调通信/消息传递。节点选择的传播优选地包括系统的或有组织的节点激活方法。最初，接收型样父特征输入。父特征优选地是高层特征、分类或其他输入，它们构成了生成型样的基础。输入优选地被传递到网络的顶层中的子网。然后，通过网络的传播继续进行：处理顶层的子网；然后处理下一层子网；并且处理继续进行，其中网络的每个分级层被逐步地(即，顺序地或连续地)处理。在另一变型中，在底部子特征节点处接收至少部分子特征输入。该变型涉及网络在提供的子特征节点输入的一部分内执行生成。该变型包括接收种子子特征输入(例如，子特征节点的至少部分选择)，其用于提供用于生成的上下文和框架。例如，可以提供一半图像，并且网络内的传播用于为图像的剩余一半生成/创建/想象子特征。在只有一层的特殊情况下(例如，同层级子网的集合)，节点选择的传播可以优选地依赖于配置来并行和/或顺序发生在子网上。此外，可以在单层内对子网的处理进行排序。在一些实例中，外部约束可以定义两个子网之间的关系，因此首先处理一个子网，然后将外部约束考虑在内处理另一个子网。顺序可以被预先定义或被配置。或者，处理可以是不同子网和第一子网之间的竞态(race)条件，以完成确定约束实施的处理。或者，它们可以以任何合适的方式同时被处理或管理。类似地，可能有子网内节点的处理顺序。子网中的池优选也被排序。在一些实例中，横向约束可以定义两个池的PSCF节点之间的关系，因此首先处理一个池，然后将横向约束考虑在内处理另一个池。顺序可以被预先定义或被配置。或者，处理可以是不同池和第一池之间的竞态条件，以完成确定对另一池的约束实施的处理。或者，它们可以以任何合适的方式同时被处理或管理。在每个子网内，优选地实现块S230、S240和S250。节点的选择优选地从父特征节点开始，然后池节点被激活，然后PSCF节点被选择。PSCF节点的选择可以至少部分地由约束节点的实施的选择约束影响或确定。

块S230包括选择与父特征节点的函数一致的至少两个池节点，其用于适当地激活子网的池。如前所述，池优选地是对应于不变特征的PSCF节点的分组。选择优选地发生在已经配置有选择函数的父特征节点内。选择函数优选地是与(AND)关系，使得每个连接的池节点被激活，但是可选地可以使用任何合适的选择函数。

块S240包括选择对应于子网的子特征的至少第一PSCF节点，其用于选择池节点的池成员的集合内的PSCF节点。优选地，对来自块S230的每个选择的池节点进行选择。评估子网内的池节点的顺序可以以随机顺序和非同时的方式来排序。或者，可以同时评估池。PSCF节点的选择优选地根据选择的池节点的选择函数来被执行。在一个实施方式中，选择函数是异或(XOR)函数，其中仅选择一个PSCF节点。可以替代地使用任何合适的选择函数。当选择PSCF节点时，PSCF节点优选地以直接关系与至少一个子特征节点连接或以其他方式相关联，选择连接的子特征节点。在一些变型中，PSCF节点可以与多个子特征节点相关联。当选择相应的PSCF节点时，优选地选择每个子特征节点。在又一变型中，子特征节点可以附加地与网络或子网中的其他PSCF节点相关联。优选地，基于到子特征节点的连接的超位置来选择/激活子特征节点。

块S250包括在至少第二节点上实施选择约束，其用于允许定义的池和子网之间的不变关系。优选地，创建约束来定义特征对和型样之间的逻辑。在一般示例中，如果子网将图像分量拼接在一起以形成汽车的图像，并且一个池选择汽车的车身，则它可以对选择汽车车轮的其他池实施限制，使得车轮和车身保持一致。可以通过约束节点通过至少两个PSCF节点之间的连接来定义选择约束。约束节点可以包括任何合适数量的连接的PSCF节点，并且可以实施任何合适的选择函数。在一些变型中，可以通过两个池节点或任何合适类型的节点之间的连接来定义选择约束。类似地，约束节点可以在任何两种或更多种类型的节点之间，例如在PSCF节点和池节点之间。当被实现时约束节点的实施优选地具有某种形式的方向性，第一个节点的选择会对第二个节点产生选择影响。方向性也可以在两种类型的节点之间去往任何方向。PSCF节点可能导致约束节点影响池节点，并且池节点可能导致约束节点影响PSCF节点。一个优选的选择约束是，如果连接到约束节点的PSCF节点之一被激活，则实施连接的PSCF节点的选择。换句话说，约束节点的选择约束函数是与(AND)操作。优选地，响应于具有连接的约束节点的至少第一PSCF节点的选择来实施选择约束。如上所述，节点优选地以某种顺序被评估或传播。选择约束优选地不在已经被选择的PSCF节点上实施，而是由池节点在选择上实施。在一些场景中，在选择约束被实施并通过约束节点被发送到池成员之后，池节点可以将可能的PSCF节点的集合减少到一个节点。在其他场景中，池节点可以减少可能的PSCF节点的数量，或者甚至改变对选择的概率加权。约束节点被示出为两个PSCF节点之间的连接，但是约束可以替代地通过池成员和/或子网之间的消息传递机制来操作地实现。如本文所述，消息优选地修改选择函数的操作，以有效地实施约束节点。约束节点可以是横向约束、外部约束、时间约束和/或任何合适类型的约束。横向约束优选地在两个不同的池之间实施。外部约束优选地在两个不同的子网之间实施。横向约束和外部约束优选用于空间约束，但也可用于定义任何合适的不变型样。时间约束是针对不同的时间实例实施的网络评估。时间约束可以定义不同时间范围上的不变型样。时间选择约束将确定在特征的序列内能够发生、可能发生或不能够发生的特征。

块S260包括将网络的最终子特征编译成生成的输出，其用于将特征组装成生成的产品、表示或分析、模拟或任何合适的输出。最终子特征优选地是分级网络的最低层的子特征节点。子特征节点优选地表示代表特定数据特征的存在的二项变量。可以维持数据库或映射，其将子特征节点映射到特定数据特征。如图4的示例所示，子特征节点CF1、CF2和CF3各自表示不同水平位置中的垂直条。编译最终子特征优选地包括将选择的子特征节点映射到数据特征，然后将数据特征编译成生成的输出。激活的子特征节点优选地是当组合时形成媒体再现的分量。优选地，输出类似于用于训练或创建网络的数据媒介的输出。例如，如果网络是为图像生成而被训练或创建的，则输出优选地是基本完整的模拟图像。如果网络是用音频特征训练的，则最终子特征可以被组装以输出音频文件或信号。当多个网络评估被用于时间信号时，多个网络的最终子特征可以被编译成最终生成的输出。在示例性实施方式中，最终子特征与空间分量相关联。换句话说，子特征的每个对应于特定方面的特定特征。对于图像，该空间分量优选地是二维块位置。空间分量可以附加地是数据的三维或任何合适的维度。维度可以对应于物理维度或人工维度。例如，当与数据分析一起使用时，子特征可各自对应于数据分析的各种维度，其可以优选地被编译以形成合适的输出。由于子特征节点优选地是具有二进制激活状态的节点，因此优选地，在子特征和相关联的特征型样之间存在映射。子特征优选地唯一地对应于媒介的特定方面。例如，图像可以将图像分割成块的网格，并且较低层中的每个子特征节点与像素型样(例如，3×3像素型样)相关联。以这种方式，激活的节点被用于选择各种像素型样，并且这些像素型样在最终图像内的适当位置中被叠加。

4.用于通过使用网络从输入推理型样的方法

如图13所示，用于从优选实施例的网络推理型样的方法S30可以包括：提供具有父特征输入节点和至少两个子特征输出节点的递归的网络S310；用后验分布模型配置子网的节点S320；以与网络的子网的节点连接一致的方式通过网络层层次结构来传播节点选择S330；响应于至少第一PSCF节点的选择，在至少第二PSCF节点上实施选择约束S340；以及将网络的父特征节点输出到推理的输出中S350。方法S30用于推理或检测输入数据内的型样。在推理期间，优选地提供输入数据。数据被转换、处理或变换为数据特征。数据特征然后用于选择性地激活/选择各种子节点。然后，在网络上实现置信度传播或类似的消息传递方法，使得节点选择从较低层子网(例如，原始数据特征的层)向上到上层子网(例如，型样特征的层)在其通路上工作。方法S30可以用于各种各样的数据类型(例如图像、视频、音频、语音、医学传感器数据、自然语言数据、金融数据、应用数据、交通数据、环境数据等)的推理的型样中。在一个实施方式中，方法可以用于图像检测，以检测图像或视频中对象的存在。另外，方法可用于检测相同图像中的多个对象。

块S310包括提供具有父特征输入节点和至少两个子特征输出节点的递归子网的网络，其用于实现具有实施的约束的递归皮层网络。网络优选地是如上所述或如方法S10中所创建的网络。由于网络的架构类似于方法S20中使用的架构，方法S20和S30可以与相同网络配置一起用于生成或推理用例。

块S320包括用后验分布模型配置子网的节点，其用于添加概率模型，推理可以从该概率模型沿层次结构向上传播。推理是在给定节点子集处的某证据的情况下，在网络中的所有节点处找到后验分布的过程。后验分布模型优选地是指定在给定证据情况下节点被激活的概率的参数。证据优选地是特定节点的子节点集合。后验分布模型可以包括对于证据可能性的集合的后验，其中，证据可能性的集合包括证据节点是ON和OFF的排列(permutation)。后验可以被表示为概率、比率、比率对数、加权的选择函数(其中节点依赖于证据来激活自身)、或任何合适的表示。替代地或附加地，其他推理机制可以被结合到方法S30中。

块S330包括以与网络的子网的节点连接一致的方式通过网络层层次结构来传播节点选择，其用于沿网络层次结构向上和向下传播置信度推理。块S330优选地使用置信度传播，但是可以替代地实现其他概率推理方法。置信度传播优选地用于沿网络层次结构向上传播选择。节点选择的传播附加地与子节点的后验预测一致。置信度传播包括在节点之间传递消息以及在不同假设下在节点中执行计算。节点之间的链路可以被构建为对于消息的双向通信信道。在一个实施方式中，向上游流动的消息表示似然性，并且向下游流动的消息表示概率。此外，生成或向下传播可用于增强向上传播并为向上传播提供反馈。例如，如上所述，生成传播可以用于想象图像中可能存在什么，并将其与图像中的实际情况进行比较。在图7示出的一个示例中，在网络的链路上传播的消息可以用于推理图像的型样。该示例中的消息在给定对应于消息的来源的节点是ON的情况下表示证据的似然性。例如，与节点CF1相比，节点CF2具有较高的似然性，因为节点CF2的表示更好地与输入证据对齐。(由源自池节点的连接表示的)池的似然性是池成员的似然性的最大值。当在具有对应于后续时间实例的输入的序列的网络中传播置信度时，网络可以及时传播消息并进行时间推理。在这样的场景中，在不同节点处计算的值将表示给定证据的序列的概率。

传播优选地在网络的最终子特征节点处接收到数据特征输入时启动。最终子特征节点是层次结构中最低层的子特征节点。数据优选地被处理、转换或分割成一组特征。数据特征然后用于选择或激活最终子特征节点。在简单的场景中，特征的存在用于激活或不激活子特征节点。或者，特征节点的似然性参数可以是输入。似然性可以是卷积相似性度量或特征在数据中明显的似然性的任何适当度量。置信度传播然后继续沿网络的层次结构向上传播该输入。在子网内，传播节点激活包括子特征节点向连接的PSCF节点发送似然性得分；在子网的池节点处，根据后验分布分量和连接的PSCF节点的似然性得分生成似然性得分；在子网的父特征节点处，根据后验分布分量和连接到父特征节点的池节点的似然性得分生成似然性得分。置信度传播然后优选地继续到较高的子网，并且继续直到网络传播耗尽或者满足某个阈值。

块S340包括在至少第二节点上实施选择约束，其用于允许在推理期间定义并使用池和子网之间的不变关系。约束节点和连接优选地以基本类似于块S250的方式被实施。当节点被激活时，通过约束节点连接的其他节点具有在其上实施的约束。外部约束节点优选地在至少两个PSCF节点之间，但是可以替代地在任何节点集合之间。在一个变型中，约束可以替代地增加或改变相同池的一个连接的PSCF节点和/或更多个PSCF节点的概率度量。

块S350包括将网络的父特征节点特征输出到推理的输出中，其用于将网络的激活的节点处理或同化为推理结果。优选地，父特征节点被用作型样的指示符。在构建网络时，不同的层优选地检测具有不同粒度等级的型样。在低层上，这可以包括检测特定的像素型样，例如角或线或点。在高层上，这可以是型样的检测，就像在图像中检测到人或者信息表达快乐。此外，每个子网优选地被定制用于特定的型样识别。在上面的示例中，子网可以用于不变角检测。如果该特定子网的父节点被激活，则可以做出存在角的推理。映射可以存在，使得子网的父节点的激活与不同的型样标签配对。推理可以来自顶层，但是可以替代地通过网络的多层来获得。例如，如果该方法输出“男性正在微笑”的推理，则可以通过多个层和/或子网获得关于存在人、人是男性以及面部表情是微笑的推理。此外，选择哪些层和/或子网用于输出推理可以调整推理的范围。例如，当从图像生成推理时，来自高层的推理可以检测到图像是咖啡店的场景。较低层可以用于检测图像中存在三张桌子，一位男性、一位女性和各种其他咖啡店对象。可以存在API或接口，使得可以从网络提取适当层次的推理信息。该接口优选地通过适当选择并格式化具有适当推理信息的响应来响应分析请求。例如，在推理中，请求可以指定感兴趣的特定型样，例如“这个图像中有多少人”或“这个场景的环境是什么”或“这个图像中的天鹅在哪里”或“这个场景中对象的下一个可能状态是什么”。较多的开放式请求可能会收到较大数量的检测到的型样。子网的激活的父节点集合内显现的推理信息可替换地以任何合适的方式被使用。

5.系统和方法的示例性使用

正如已经讨论过的，递归皮层网络可以用于各种场景。网络的架构既用于生成，也用于推理。网络附加地优选地对于用作生成或推理的输入的数据的形式是不可知的(agnostic)。优选的数据媒介包括2D或3D图像数据、图像的序列、视频、音频、自然语言文本、分析数据、广泛分布的传感器数据或其他合适形式的数据。在一个优选的应用领域中，系统和方法被应用于图像。网络可以在推理模式中用于对象检测、事件分析、面部识别、情绪检测、对象跟踪和其他合适的应用。在生成模式中，网络可以生成模拟的图像。作为另一示例性应用，系统和方法可以应用于自然语言处理。在推理模式中，句子的上下文和意图可以被解释，语言可以被翻译，并且其他语言模式可以被检测到。例如，问题的含义可以被解释，并且这可以随后在生成模式中与网络一起使用，从而可以生成回复或响应。在一些实施方式中，该响应可以是自然语言响应，但是也可以不仅仅是语言通信的事件的触发或动作。其他示例性应用可以包括医学扫描和图像异常检测、金融数据分析和预测、广告定向、交通预测、环境模拟以及其他合适的模拟、检测或预测领域。虽然网络优选地针对特定的应用和用例创建(例如仅用于图像分析的网络)，但是网络可以附加地组合使用，从而通过扩展的节点网络实现更通用且更高层次的模式和能力。在使用网络期间，网络的配置优选地被更新和扩展以考虑新数据，这仅进一步通过网络来扩展处理能力。

优选实施例及其变型的系统和方法可以被至少部分地体现和/或实现为被配置成接收储存计算机可读指令的计算机可读介质的机器。指令优选地由计算机可执行部件来执行，该计算机可执行部件优选地与递归皮层网络集成。计算机可读介质可以存储在任何合适的计算机可读媒介上，诸如RAM、ROM、闪存、EEPROM、光学设备(CD或DVD)、硬盘驱动器、软盘驱动器或任何合适的设备。计算机可执行部件优选地是通用或专用处理器，但任何合适的专用硬件或硬件/固件组合设备可以替代地或附加地执行指令。

如本领域中的技术人员将从先前的详细描述以及从附图和权利要求中认识到的，可在不偏离在所附权利要求中限定的本发明的范围的情况下对本发明的优选实施例进行修改和改变。

系统和方法的示例

一种用于利用网络生成型样的方法可以包括：提供具有父特征节点和至少两个子特征节点的子网的递归网络；其中，父特征节点是输入节点，并且至少两个子特征节点是输出节点；以与网络的子网的节点连接一致的方式沿着网络层层次结构向下传播节点选择，子网内的传播包括：在子网的激活的父特征节点处，选择与父特征节点的选择函数一致的池节点；在第一池的池节点处，选择对应于子网的子特征节点的至少第一父特定子特征(PSCF)节点；以及响应于子网的第一节点的选择，根据子网的横向约束节点在第二池的至少第二节点上实施选择约束；以及将网络的最终子特征节点的状态编译成生成的输出。

在方法的示例中，第一节点是第一PSCF节点，并且第二池的第二节点是PSCF节点。在方法的另一示例中，第二池的第二PSCF节点在第一节点的子网内。在方法的第二另一示例中，第二池的第二PSCF节点在第二子网中。在方法的第三另一示例中，第一PSCF节点在第一时刻的网络中，并且第二池的第二PSCF节点在第二时刻的网络中。在方法的第四另一示例中，方法包括响应于选择PSCF节点选择至少一个子特征节点，将选择的子特征节点映射到被编译成生成的输出的数据特征。

方法的生成的输出可以包括：图像、图像的序列、音频。方法的选择函数可以是布尔逻辑选择函数。

在方法的第二示例中，第一层子网的子特征节点是对于第二层中至少两个子网的父特征节点。在方法的另一示例中，选择与选择函数一致的池节点包括根据逻辑与(AND)选择函数选择连接到父节点的每个池节点；并且选择第一PSCF节点包括根据池节点的逻辑异或(XOR)选择函数，从连接到池节点的PSCF节点集合中随机选择仅一个PSCF节点。在方法的第二另一示例中，选择至少第一PSCF节点还包括根据池节点的逻辑异或(XOR)选择函数从连接到池节点的PSCF节点集合中随机选择PSCF节点的第一子集，该选择函数应用于该PSCF节点的集合的多个子集。在方法的第三另一示例中，选择与选择函数一致的池节点包括根据逻辑与(AND)选择函数选择连接到父节点的每个池节点。

一种用于利用网络生成型样的方法可以包括：提供具有父特征节点和至少两个子特征节点的子网的递归网络；其中，父特征节点是输入节点，并且至少两个子特征节点是输出节点；以及在递归网络的第一子网处，第一子网包括父特征节点和至少两个子特征节点：在第一子网的激活的父特征节点处，选择与父特征节点的选择函数一致的第一池节点和第二池节点；在第一池节点处，选择对应于子网的第一子特征节点的至少第一父特定子特征(PSCF)节点；在第二池节点处，选择对应于子网的第二子特征节点的至少第二父特定子特征(PSCF)节点；以及将网络的最终子特征节点(包括第一和第二子特征节点)的状态编译成生成的输出。

在方法的示例中，方法还包括响应于选择第一和第二PSCF节点，将选择的子特征节点映射到被编译成生成的输出的数据特征。方法的生成的输出可以包括：图像、图像的序列、音频。

在方法的第二示例中，方法包括：在第一池节点处，选择对应于子网的第三子特征节点的至少第三父特定子特征(PSCF)节点；其中，第一和第三PSCF节点根据跨越连接到第一池节点的PSCF节点的集合的子集应用的第一池节点的逻辑异或(XOR)选择函数来选择。

一种用于利用网络推理型样的方法，包括：提供具有父特征节点和至少两个子特征节点的子网的递归网络；用后验分布分量配置子网的节点；在最终子特征节点处接收数据特征输入；以与网络的子网的节点连接和子节点的后验预测一致的方式，通过网络层层次结构传播节点激活；在子网的至少两个节点之间实施激活约束；以及将父特征节点选择输出到推理的输出。

在方法的示例中，传播节点激活包括子特征节点向连接的父特定子特征(PSCF)节点传递似然性得分；在子网的池节点处，从后验分布分量和连接的PSCF节点的似然性得分生成似然性得分；在子网的父特征节点处，从后验分布分量和连接到父特征节点的池节点的似然性得分生成似然性得分。在方法的另一示例中，在至少两个节点之间实施激活约束包括在连接到第一池节点的第一PSCF节点和连接到第二池节点的第二PSCF节点之间实施激活约束。在方法的第二另一示例中，在至少两个节点之间实施激活约束包括在第一子网中的第一PSCF节点和第二子网中的第二PSCF节点之间实施激活约束。在方法的第二另一示例中，在至少两个节点之间实施激活约束包括在第一时刻的网络中的第一PSCF节点和第二时刻的网络中的第二PSCF之间实施激活约束。

在方法的第二示例中，接收数据特征输入包括根据图像的图像特征来设置最终子特征节点的激活；并且其中，推理的输出是图像中检测到的对象。

在方法的第三示例中，接收数据特征输入包括根据音频信号特征来设置最终子特征节点的激活；并且其中，推理的输出是音频信号中检测到的音频型样。

在方法的第四示例中，第一层子网的子特征节点是对于至少两个第二层子网的父特征节点。

一种用于构建神经网络的方法包括：递归地构造网络层次结构中的多个子网，其包括将较高层子网的子特征节点的每个通信地耦合到较低层中的子网的父特征节点；设置子网的父特征节点的选择函数，其中，选择函数由子网中至少两个池的选择选项定义；设置池节点的选择函数，其中，池节点的选择函数由至少两个父特定子特征(PSCF)节点的选择选项定义；将至少一对节点与约束节点链接；以及以与网络的子网的节点连接、选择函数以及链接的约束节点一致的方式，通过网络层层次结构来传播节点选择。

在方法的示例中，将至少一对节点与约束节点链接包括将连接到第一池节点的第一PSCF节点与连接到第二池的第二PSCF节点链接。

在方法的第二示例中，将至少一对节点与约束节点链接包括将第一子网的第一PSCF节点与第二子网的第二PSCF节点链接。在方法的另一示例中，将至少一对节点与约束节点链接包括将第一实例的第一网络中的第一PSCF节点与第一实例的第二网络中的第二PSCF节点链接。在方法的第二另一示例中，方法还包括设置后验参数；其中，通过网络层层次结构来传播节点选择以与置信度传播一致的方式根据设置的后验参数被进一步执行。在方法的第三另一示例中，方法还包括将PSCF节点与子特征节点连接，其中，至少一个子特征节点与至少两个PSCF节点连接。

一种系统，包括：子网的递归架构的网络，其被组织成多个分级层；子网至少包括父特征节点、池节点、父特定子特征(PSCF)节点以及子特征节点；至少一个子网的父特征节点配置有在连接到至少一个子网的父特征节点的至少两个池节点上可操作的选择函数；至少一个子网的池节点配置有在连接到至少一个子网的池节点的至少两个PSCF节点上可操作的选择函数；至少一个子网的PSCF节点被配置为激活连接的子特征节点；子特征节点可连接到较低分级层处的第二子网的至少父特征节点。

在系统的第一示例中，系统还包括约束节点，该约束节点具有来自至少两个PSCF节点的至少两个连接，该约束节点具有选择函数以增强池节点的选择。在系统的另一示例中，约束节点连接到第一PCSF节点和第二PCSF节点，其中，第一PCSF节点连接到第一池节点，并且第二PCSF节点连接到第二池节点。在系统的第二另一示例中，第一池节点和第二池节点连接到单个共享父特征节点；其中，第一池节点和第二节点包含在单个子网内。在系统的第三另一示例中，第一池节点连接到第一父特征节点，并且包含在第一子网内；其中，第二池节点连接到第二父特征节点，并且包含在不同于第一子网的第二子网内。在系统的第四另一示例中，第一子网与第二子网处于不同的分级层。

在系统的第二示例中，网络的节点配置有后验分布分量；其中，网络被配置成以与网络的子网的节点连接和后验分布分量一致的方式，通过多个分级层来传播节点激活。在系统的另一示例中，网络被配置为响应于在至少一个子特征节点处接收到数据特征输入，输出父特征节点选择作为推理的输出。在系统的第二另一示例中，网络被配置为通过以下方式传播节点激活：在子特征节点处，向连接的父特定子特征(PSCF)节点传递似然性得分；在子网的池节点处，从后验分布分量和连接的PSCF节点的似然性得分生成似然性得分；在子网的父特征节点处，从后验分布分量和连接到父特征节点的池节点的似然性得分生成似然性得分。在系统的第三另一示例中，网络被配置为通过根据图像的图像特征设置子特征节点的激活来接收数据特征输入；其中，推理的输出包括图像的分类。在系统的第四另一示例中，网络被配置为通过根据音频信号的音频特征设置子特征节点的激活来接收数据特征输入；其中，推理的输出包括音频信号的分类。

在系统的第三示例中，网络被配置为响应于接收的父特征输入，输出子特征节点选择作为生成的输出。在系统的另一示例中，生成的输出是基于选择的子特征节点到图像特征的映射而生成的图像。在系统的第二另一示例中，生成的输出是基于选择的子特征节点到图像特征的映射而生成的图像。在系统的第三另一示例中，父特征输入是图像分类。在系统的第四另一示例中，生成的输出是基于选择的子特征节点到音频特征的映射而生成的音频信号。在系统的第五另一示例中，父特征输入是音频信号分类。在系统的第六另一示例中，网络还被配置为接收种子子特征输入；其中，种子子特征输入被网络用来修改生成的输出。在系统的第七另一示例中，网络被配置为通过设置种子子特征节点的激活来接收种子子特征输入。在系统的第八另一示例中，网络被配置为响应于接收的父特征输入和种子子特征输入两者，输出子特征节点选择作为生成的输出。在系统的第九另一示例中，网络被配置为根据图像的第一部分的图像特征来设置种子子特征节点的激活；其中，生成的输出是图像的第二部分。

在系统的第四个示例中，子特征节点连接到在较低分级层处的子网的多个父特征节点。在系统的另一示例中，通过将噪声-或(OR)门应用于由多个父特征节点的第一父特征节点发送的证据和由多个父特征节点的第二父特征节点发送的证据来处理呈现给子特征节点的证据。在系统的第二另一示例中，通过将噪声-MAX门应用于由多个父特征节点的第一父特征节点发送的证据和由多个父特征节点的第二父特征节点发送的证据来处理呈现给子特征节点的证据。

Claims

1.一种用于利用网络生成型样的方法，包括：

提供具有父特征节点和至少两个子特征节点的子网的递归网络；其中，所述父特征节点是输入节点，并且所述至少两个子特征节点是输出节点；

以与所述网络的子网的节点连接一致的方式沿网络层层次结构向下传播节点选择，所述子网内的传播包括：

在子网的激活的父特征节点处，选择与所述父特征节点的选择函数一致的池节点；

在第一池的所述池节点处，选择对应于所述子网的子特征节点的至少第一父特定子特征(PSCF)节点；以及

响应于所述子网的第一节点的所述选择，根据所述子网的横向约束节点，在第二池的至少第二节点上实施选择约束；以及

将所述网络的最终子特征节点的状态编译成生成的输出。

2.根据权利要求1所述的方法，其中，所述第一节点是所述第一PSCF节点，并且所述第二池的所述第二节点是PSCF节点。

3.根据权利要求2所述的方法，其中，所述第二池的所述第二PSCF节点在所述第一节点的所述子网内。

4.根据权利要求2所述的方法，其中，所述第二池的所述第二PSCF节点在第二子网中。

5.根据权利要求2所述的方法，其中，所述第一PSCF节点在第一时刻的网络中，并且所述第二池的所述第二PSCF节点在第二时刻的网络中。

6.根据权利要求2所述的方法，还包括响应于选择所述PSCF节点选择至少一个子特征节点，将选择的子特征节点映射到被编译成所述生成的输出的数据特征。

7.根据权利要求6所述的方法，其中，所述生成的输出是图像。

8.根据权利要求6所述的方法，其中，所述生成的输出是图像的序列。

9.根据权利要求6所述的方法，其中，所述生成的输出是音频。

10.根据权利要求6所述的方法，其中，所述选择函数是布尔逻辑选择函数。

11.根据权利要求10所述的方法，其中，第一层子网的子特征节点是对于第二层中至少两个子网的父特征节点。

12.根据权利要求11所述的方法，其中，选择与选择函数一致的所述池节点包括根据逻辑与选择函数选择连接到所述父节点的每个池节点；其中，选择所述第一PSCF节点包括根据所述池节点的逻辑异或选择函数，从连接到所述池节点的PSCF节点的集合中随机选择仅一个PSCF节点。

13.根据权利要求11所述的方法，其中，选择至少第一PSCF节点还包括根据所述池节点的逻辑异或选择函数从连接到所述池节点的PSCF节点的集合中随机选择PSCF节点的第一子集，所述选择函数应用于所述PSCF节点的集合的多个子集。

14.根据权利要求13所述的方法，其中，选择与选择函数一致的所述池节点包括根据逻辑与选择函数选择连接到所述父节点的每个池节点。

15.一种用于利用网络生成型样的方法，包括：

提供具有父特征节点和至少两个子特征节点的子网的递归网络；其中，所述父特征节点是输入节点，并且所述至少两个子特征节点是输出节点；以及

在所述递归网络的第一子网处，所述第一子网包括所述父特征节点和所述至少两个子特征节点：

在所述第一子网的激活的父特征节点处，选择与所述父特征节点的选择函数一致的第一池节点和第二池节点；

在所述第一池节点处，选择对应于所述子网的第一子特征节点的至少第一父特定子特征(PSCF)节点；

在所述第二池节点处，选择对应于所述子网的第二子特征节点的至少第二父特定子特征(PSCF)节点；以及

将所述网络的包括所述第一子特征节点和所述第二子特征节点的最终子特征节点的状态编译成生成的输出。

16.根据权利要求15所述的方法，还包括响应于选择所述第一PSCF节点和所述第二PSCF节点，将选择的子特征节点映射到被编译成所述生成的输出的数据特征。

17.根据权利要求16所述的方法，其中，所述生成的输出是图像。

18.根据权利要求16所述的方法，其中，所述生成的输出是图像的序列。

19.根据权利要求16所述的方法，其中，所述生成的输出是音频。

20.根据权利要求15所述的方法，还包括：在所述第一池节点处，选择对应于所述子网的第三子特征节点的至少第三父特定子特征(PSCF)节点；其中，所述第一PSCF节点和所述第三PSCF节点是根据跨越连接到所述第一池节点的PSCF节点的集合的子集应用的所述第一池节点的逻辑异或选择函数来选择的。

21.一种用于利用网络推理型样的方法，包括：

提供具有父特征节点和至少两个子特征节点的子网的递归网络；

用后验分布分量配置所述子网的节点；

在最终子特征节点处接收数据特征输入；

以与所述网络的子网的节点连接和子节点的后验预测一致的方式，通过网络层层次结构传播节点激活；

在子网的至少两个节点之间实施激活约束；以及

将父特征节点选择输出到推理的输出。

22.根据权利要求21所述的方法，其中，传播节点激活包括子特征节点向连接的父特定子特征(PSCF)节点传递似然性得分；在子网的池节点处，从所述后验分布分量和连接的PSCF节点的似然性得分生成似然性得分；在所述子网的父特征节点处，从所述后验分布分量和连接到所述父特征节点的池节点的似然性得分生成似然性得分。

23.根据权利要求22所述的方法，其中，在至少两个节点之间实施激活约束包括在连接到第一池节点的第一PSCF节点和连接到第二池节点的第二PSCF节点之间实施激活约束。

24.根据权利要求22所述的方法，其中，在至少两个节点之间实施激活约束包括在第一子网中的第一PSCF节点和第二子网中的第二PSCF节点之间实施激活约束。

25.根据权利要求22所述的方法，其中，在至少两个节点之间实施激活约束包括在第一时刻的网络中的第一PSCF节点和第二时刻的网络中的第二PSCF之间实施激活约束。

26.根据权利要求21所述的方法，其中，接收数据特征输入包括根据图像的图像特征来设置最终子特征节点的激活；并且其中，所述推理的输出是所述图像中检测到的对象。

27.根据权利要求21所述的方法，其中，接收数据特征输入包括根据音频信号特征来设置最终子特征节点的激活；并且其中，所述推理的输出是所述音频信号中检测到的音频型样。

28.根据权利要求21所述的方法，其中，第一层子网的子特征节点是对于至少两个第二层子网的父特征节点。

29.一种用于构建神经网络的方法，包括：

递归地构造网络层次结构中的多个子网，所述网络层次结构包括将较高层子网的子特征节点的每个通信地耦合到较低层中的子网的父特征节点；

设置所述子网的父特征节点的选择函数，其中，所述选择函数由所述子网中至少两个池的选择选项定义；

设置所述池节点的选择函数，其中，池节点的选择函数由至少两个父特定子特征(PSCF)节点的选择选项定义；

将至少一对节点与约束节点链接；以及

以与所述网络的子网的节点连接、所述选择函数以及所链接的约束节点一致的方式，通过所述网络层层次结构来传播节点选择。

30.根据权利要求29所述的方法，其中，将至少一对节点与约束节点链接包括将连接到第一池节点的第一PSCF节点与连接到第二池的第二PSCF节点链接。

31.根据权利要求29所述的方法，其中，将至少一对节点与约束节点链接包括将第一子网的第一PSCF节点与第二子网的第二PSCF节点链接。

32.根据权利要求29所述的方法，其中，将至少一对节点与约束节点链接包括将第一实例的第一网络中的第一PSCF节点与第一实例的第二网络中的第二PSCF节点链接。

33.根据权利要求29所述的方法，还包括设置后验参数；其中，通过所述网络层层次结构来传播节点选择进一步以与置信度传播一致的方式根据设置的后验参数被执行。

34.根据权利要求29所述的方法，还包括将所述PSCF节点与子特征节点连接，其中，至少一个子特征节点与至少两个PSCF节点连接。

35.一种系统，包括：

子网的递归架构的网络，所述网络被组织成多个分级层；

所述子网包括至少父特征节点、池节点、父特定子特征(PSCF)节点以及子特征节点；

至少一个子网的父特征节点被配置有在连接到所述至少一个子网的父特征节点的至少两个池节点上可操作的选择函数；

所述至少一个子网的所述池节点被配置有在连接到所述至少一个子网的池节点的至少两个PSCF节点上可操作的选择函数；

所述至少一个子网的所述PSCF节点被配置为激活连接的子特征节点；

所述子特征节点可连接到较低分级层处的第二子网的至少父特征节点。

36.根据权利要求35所述的系统，还包括约束节点，所述约束节点具有来自至少两个PSCF节点的至少两个连接，所述约束节点具有选择函数以增强由所述池节点的选择。

37.根据权利要求36所述的系统，其中，所述约束节点连接到第一PCSF节点和第二PCSF节点，其中，所述第一PCSF节点连接到第一池节点，并且所述第二PCSF节点连接到第二池节点。

38.根据权利要求37所述的系统，其中，所述第一池节点和所述第二池节点连接到单个共享父特征节点；其中，所述第一池节点和所述第二节点包含在单个子网内。

39.根据权利要求37所述的系统，其中，所述第一池节点连接到第一父特征节点并且包含在第一子网内；其中，所述第二池节点连接到第二父特征节点并且包含在不同于所述第一子网的所述第二子网内。

40.根据权利要求39所述的系统，其中，所述第一子网与所述第二子网处于不同的分级层。

41.根据权利要求35所述的系统，其中，所述网络的节点配置有后验分布分量；其中，所述网络被配置成以与所述网络的子网的节点连接和所述后验分布分量一致的方式，通过所述多个分级层来传播节点激活。

42.根据权利要求41所述的系统，其中，所述网络被配置为响应于在至少一个子特征节点处接收到数据特征输入，输出父特征节点选择作为推理的输出。

43.根据权利要求42所述的系统，其中，所述网络被配置为通过以下方式传播节点激活：

●在子特征节点处，向连接的父特定子特征(PSCF)节点传递似然性得分；

●在子网的池节点处，从后验分布分量和连接的PSCF节点的似然性得分生成似然性得分；

●在所述子网的父特征节点处，从所述后验分布分量和连接到所述父特征节点的池节点的似然性得分生成似然性得分。

44.根据权利要求42所述的系统，其中，所述网络被配置为通过根据图像的图像特征设置子特征节点的激活来接收数据特征输入；其中，所述推理的输出包括所述图像的分类。

45.根据权利要求42所述的系统，其中，所述网络被配置为通过根据音频信号的音频特征设置子特征节点的激活来接收数据特征输入；其中，所述推理的输出包括所述音频信号的分类。

46.根据权利要求41所述的系统，其中，所述网络被配置为响应于接收的父特征输入，输出子特征节点选择作为生成的输出。

47.根据权利要求46所述的系统，其中，所述生成的输出是基于选择的子特征节点到图像特征的映射而生成的图像。

48.根据权利要求47所述的系统，其中，所述父特征输入是图像分类。

49.根据权利要求46所述的系统，其中，所述生成的输出是基于选择的子特征节点到音频特征的映射而生成的音频信号。

50.根据权利要求47所述的系统，其中，所述父特征输入是音频信号分类。

51.根据权利要求46所述的系统，其中，所述网络还被配置为接收种子子特征输入；其中，所述种子子特征输入被所述网络用来修改所述生成的输出。

52.根据权利要求51所述的系统，其中，所述网络被配置为通过设置种子子特征节点的激活来接收种子子特征输入。

53.根据权利要求52所述的系统，其中，所述网络被配置为响应于所述接收的父特征输入和所述种子子特征输入两者，输出子特征节点选择作为生成的输出。

54.根据权利要求53所述的系统，其中，所述网络被配置为根据图像的第一部分的图像特征来设置所述种子子特征节点的激活；其中，所述生成的输出是所述图像的第二部分。

55.根据权利要求35所述的系统，其中，所述子特征节点连接到在较低分级层处的子网的多个父特征节点。

56.根据权利要求55所述的系统，其中，通过将噪声-或门应用于由所述多个父特征节点的第一父特征节点发送的证据和由所述多个父特征节点的第二父特征节点发送的证据来处理呈现给所述子特征节点的证据。

57.根据权利要求55所述的系统，其中，通过将噪声-MAX门应用于由所述多个父特征节点的第一父特征节点发送的证据和由所述多个父特征节点的第二父特征节点发送的证据来处理呈现给所述子特征节点的证据。