CN102859538B - 一种用于模拟生物神经元网络的计算机实施的神经网络装置和方法 - Google Patents

Abstract

用于对训练的和未训练的神经网络进行组织的方法、系统和装置，包括编码在计算机存储介质中的计算机程序。在一个方面，神经网络装置包括由集间连接互连的节点集的集合，每个节点集本身包括由多个集内连接互连的节点的网络，其中每个集间连接和集内连接都有相关的权重，每个权重体现由相关连接连接的节点之间的连接强度，与连接到其他节点集内的节点相比，每个集内的节点更可能连接到该集内其他节点。

Description

一种用于模拟生物神经元网络的计算机实施的神经网络装置和方法

相关申请的交叉引用

根据美国法典第35篇第119条第(e)项，本申请要求享有2010年2月5日提交的第61/301,781号美国专利申请的权益，该美国专利申请的内容以引用的方式纳入本文。

技术领域

本说明书涉及对训练的和未训练的神经网络进行组织的方法，以及对神经网络进行组织的方法。

背景技术

神经网络是受生物神经元网络的结构和功能方面启发的装置。具体地，神经网络使用被称为“节点”的互连结构的系统来模拟生物神经元网络的信息编码和其他处理能力。神经网络中节点之间连接的排列和强度决定神经网络的信息处理或信息储存的结果。

神经网络可以被“训练”以产生需要的网络内信号流并且达到需要的信息处理或信息储存的结果。一般来说，在学习过程中训练神经网络可改变节点间连接的排列和/或强度。当神经网络达到对给出的输入组有足够合适的处理结果时，可以认为所述神经网络是“训练的”。

神经网络可以用于多种不同的装置中来进行非线性数据处理和分析。非线性数据处理不满足叠加原理，即需要确定的变量不能表示为独立成分的线性和。其中可用非线性数据处理的情况的实例包括模式和序列识别、新颖性检测和序贯决策作出、复杂系统建模以及多种其他情况中的系统和技术。

发明内容

本说明书描述了对训练的和未训练的神经网络进行组织的方法，以及对神经网络进行组织的方法。对大鼠新皮质中生物神经元进行组织的研究已经给出了关于神经网络中节点可以如何被有利地组织的线索。具有模拟大鼠新皮质中对生物神经元进行组织的互连的神经网络可以被训练以提高信息处理和/或信息储存。

在本说明书所述的主题的第一个方面，神经网络装置可以在硬件、软件或两者的结合中实施。所述神经网络装置包括由集间连接互连的节点集的集合，每个节点集本身包括由多个集内连接互连的节点的网络，其中每个集间连接和集内连接都有相关的权重，每个权重体现由相关连接连接的节点之间的连接强度，与连接到其他节点集内的节点相比，每个集内的节点更可能连接到该集内的其他节点。

在本说明书所述的主题的第二个方面，形成神经网络装置的机器实施方法包括，形成在硬件、软件或两者的结合中实施的节点网络，通过以体现节点共有的共同邻点数目的概率来连接或断开节点而分配或再分配网络节点间的连接。

这些方面和其他方面可以包括以下特征中的一个或多个。与集间连接相关的权重可以体现出于具体目的对神经装置的训练。集内连接可以体现出于具体目的对神经网络装置的训练至比集间连接小的程度。可根据两两连接关系连接节点并形成节点集。对于具有更多连接数目的节点集，每个节点集内平均权重的方差通常减小。随着各个节点集内连接数超过所述各自节点集内节点数，所述各个节点集的平均互连强度可以渐近地达到各自的极限。例如，所述各自的极限基本相同。对于集内连接数小于同一节点集内的节点数的节点集，集内连接的权重大小可以与一套水平中的不同水平显著相关。例如，每个不同的水平可以与所述集内的不同节点数目相关。神经网络装置可以包括被配置以基于每个集内连接的集内其他节点数目来改变所述集内连接各自的权重大小的适配器组件。例如，在对所述神经网络装置训练前，可以配置适配器组件以改变各自权重的大小。这样的神经网络装置可以是未训练的。神经网络装置可以包括被配置以基于节点集内节点数目来改变每个节点集内节点之间连接概率的适配器组件。例如，在对所述神经网络装置训练前，可以配置适配器组件以改变每个权重的大小。连接可以包括相互连接和非相互连接。非相互连接大约两倍于相互连接。集内的节点与该集内的其他节点连接可能性是与其他节点集内的节点连接的两倍。具有10到100个节点的节点集的数目可以大于具有少于10个和多于100个节点的节点集的数目。神经网络装置可以具有10到100个节点集。可以重复分配或再分配直到达到准稳态。可根据两两连接关系连接节点。可以对节点的网络进行训练，例如通过以相对稳定的权重来确定节点集内连接的权重，并确定节点集之间的连接的权重以体现所述训练，同时保持所述节点集内连接的权重相对不变。基于共同连接到第一和第二节点的节点数目，可以对第一和第二节点间的每个连接分配权重。可根据随机分配过程或者根据其中依照两个节点连接的可能性进行连接分配的过程，来分配初始组的连接。通过所述方法可以形成未训练的神经网络装置。可以重复分配或再分配，直到各个节点集内的连接数目超过该各个节点集内的节点数目。可以以随着连接数目超过节点数目达到极限的权重来确定各个节点集内的连接的权重。不同大小节点集的极限基本相同。

本说明书所述主题的一个或多个实施方案的细节在以下的附图和说明书中给出。所述主题的其他特征、方面和优点通过所述说明书、附图以及权利要求书将变得明显。

附图说明

图1是神经网络装置的示意图。

图2A-2F的图呈现的示例性实例是不同数目的节点的组中出现不同数目的连接的频率。

图3A-3F的图呈现的示例性实例是连接可以在图2A-2F的组中出现的频率和预期要出现的连接是随机分配的连接的频率之间的差异。

图4A、4B的图呈现的示例性实例是体现共有不同数目的共同邻点的给定节点对自连的可能性的不同概率。

图5A、5B的图呈现的示例性实例是在6个节点的组或集内节点之间互连的不同平均强度。

图6的图呈现的示例性实例是具有不同数目互连的节点之间互连强度的不同概率密度分布。

图7A、7B的图呈现的示例性实例是在6个节点的组或集内节点之间平均互连强度的不同方差。

图8的图呈现的示例性实例是在一个节点集内的节点对和在两个不同节点集内的节点对连接的概率。

图9A、9B的图呈现的示例性实例是训练的或未训练的神经网络装置中节点集大小的不同分布。

图10的图呈现的示例性实例是包含节点集连接性的神经网络装置的集聚系数。

图11的图1100呈现的示例性曲线1105是包括节点集连接性的神经网络装置的输入连接的累积分布。

图12的图呈现的示例性实例是包括节点集连接性的神经网络装置的节点对共有的共同邻点数目的概率密度分布曲线。

图13是可以用来对神经网络装置进行组织的过程1300的流程图。

图14是可以用来再分配连接并对神经网络装置进行组织的过程1400的流程图。

图15是用于形成神经网络装置的过程1500的流程图。

图16是节点集的示例组1600的示意图。

图17是示例性神经网络装置1700的示意图，其中这种集间连接1705已经在节点集1605、1610、1615、1620、1625之间形成。

在各图中同样的参考编号和命名指示相同的要素。

具体实施方式

图1是神经网络装置100的示意图。神经网络装置100是使用互连节点的系统来模拟生物神经元网络的信息编码和其他处理能力的装置。神经网络装置100可以在硬件、软件或两者的结合中实施。

神经网络装置100包括通过多个连接110互连的多个节点105。节点105是类似于生物网络中的神经元的离散信息处理构件。节点105通常处理经一个或多个连接110接收的一个或多个输入信号，以产生经一个或多个连接110输出的一个或多个输出信号。例如，在一些实施中，节点105可以是对多个输入信号加权并求和的人工神经元，将所述和代入一个或多个非线性活动函数，并输出一个或多个输出信号。

神经网络装置100中的节点105被组织成多个节点集115、120、125、130。每个节点集115、120、125、130都是节点的集合。各个节点集115、120、125、130内的节点105与相同各个节点集115、120、125、130内的其他节点比与节点集115、120、125、130中的其他节点集内的节点更有可能建立连接110。例如，在一些实施中，各个节点集115、120、125、130内的节点105与相同各个节点集115、120、125、130内其他节点建立连接110的可能性1.5倍于或2倍于与其他节点集115、120、125、130中其他节点集内的节点建立连接110。

在不同节点集115、120、125、130中可以发现不同数目的节点105。例如，在所述示例性实施中，节点集115、120各自包含6个节点105，而节点集125包含7个节点105，节点集130包含4个节点105。虽然为了清楚起见节点集115、120、125、130被分离的二维边界分离，但是节点105的多级互连网络也可以组织成节点集。如下文进一步所述的，节点集115、120、125、130——以及节点105与节点集115、120、125、130内外的节点的连接——可以具有类似生物神经元簇特征的一个或多个特征。

连接110是节点105之间的连接，类似于生物网络中神经元的突触及其他连接。连接110可以包括例如前馈连接、反馈连接、循环连接或它们的结合。连接110可以是单向的(例如输入或输出)或双向的(即可逆的)。可以根据由连接110连接的节点105之间的关系对连接110进行分类。例如，某些连接110，即集内连接145，连接单个节点集115、120、125、130内的节点105。其他连接110，即集间连接150，连接在不同节点集115、120、125、130内的节点105。在不同的节点集115、120、125、130内可以发现不同数目的集内连接145。例如，在所述示例性实施中，节点集115包含6个集内连接145。节点集120包含7个集内连接145。节点集125包含8个集内连接145。节点集130包含5个集内连接145。因此，即使包含同样数目节点110的节点集(例如节点集115、120)也可以包含有不同数目的集内连接145。

神经网络装置100是无中心的，因为神经网络装置100和节点集115、120、125、130都不包含中心节点。中心节点是那些在网络或网络集内具有比其他节点显著多数目的连接的节点。例如，轮形网络中的中央节点(即，在其他节点都具有3个连接的网络中具有n-1个连接的节点)是中心节点的实例。中心节点的其他实例包括节点集内的节点，即这些节点具有存在于此节点集内每节点连接的总体分布样式以外的大量连接。因此，这种节点集内的节点不限于具有相同的三个连接，而是可以是不同的，例如如下文进一步所述。在一些实施中，一组节点集内的节点(例如神经网络装置100中的所有节点)可以都具有相同的等级。

每个连接110都可以具有表征连接的节点105之间连接强度的相关权重。此权重类似于生物网络中神经元之间的突触和其他连接的强度。

如下进一步所述，在一些实施中，在单个节点集115、120、125、130中的集内连接145可以具有体现节点105的数目和/或所述节点集内的集内连接145的数目的权重。在一些实施中，集内连接145的权重大小可以具有相对低的方差。所述方差可以足够低，使得——对于具有给出数目节点105的节点集115、120、125、130中的至少一些数目集内连接145——具有相对小数目的集内连接145的节点集内的集内连接权重大小与一套显著分散的水平中的一个水平相关。

随着神经网络装置100被训练，所述权重经过合适的改变产生需要的信号流并达到需要的信息处理或信息储存结果。在一些实施中，集内连接权重的大小可以相对独立于神经网络装置100的任何训练。在一些实施中，训练主要地或者甚至唯一地体现为集间连接150的权重。

图2-12呈现的示例性实例是组织训练的和未训练的神经网络装置均可以具有的特征。这些特征中的一个或多个可以促进信息处理和/或储存。例如，图2A-2F的图呈现的示例性实例是，在具有12个节点的训练的或未训练的神经网络装置的实施中，在不同数目的节点的组中出现不同数目的连接的频率。具体地，图2A的图205呈现的示例性实例是在三节点组中出现0-6个连接的频率。图2B的图210呈现的示例性实例是在四节点组中出现0-9个连接的频率。图2C的图215呈现的示例性实例是在五节点组中出现0-11个连接的频率。图2D的图220呈现的示例性实例是在六节点组中0-15个连接出现的频率。图2E的图225呈现的示例性实例是在七节点组中0-19个连接出现的频率。图2F的图230呈现的示例性实例是在八节点组中0-22个连接出现的频率。

图2A-2F中的节点组不一定是形成节点集的节点。而是，这些组可能代表节点在神经网络装置内可能的随机分组。因此，某些这样的节点组有可能在所述组中的节点之间具有零个连接。

对于多于三个节点的组，组内出现一个连接的频率高于组内出现零个连接的频率。而且，对于具有四个或更多节点的组，组内出现的连接数目与组内节点数目相同的频率是大约10^-1。对于这些有四个或更多节点的组，组内出现的连接数目与组内节点数目相同的频率小于大约10^-1。

图2A-2F中的这些组内出现连接的频率不同于预期要出现的连接是随机分配的连接的频率。图3A-3F的图呈现示例性实例是这样的差异，即图2A-2F中组内出现连接的频率与预期要出现的连接是随机分配的连接的频率之间的差异。在本申请的这些和其他示例性实例中，总连接概率是0.15。可组织训练的和未训练的神经网络装置，以具有在其他总连接概率下的相应特征。

图2A-2F中的这些差异表示为归一化的参数，所述参数体现超出预期的连接的存在(即参数为正值)，以及预期连接的不存在(即参数为负值)。在示例性实施中，这种归一化的参数是通过计算两个频率之间的差异得到的，这两个频率是在具体组内出现连接的实际频率和预期要出现的连接是随机分配的连接的频率。然后，将计算出的差异通过预期要出现的连接是随机分配的连接的频率进行归一化。

具体地，图3A的图305呈现的示例性实例是在3节点组内出现0到6个连接的频率与预期的偏差。图3B的图310呈现的示例性实例是在4节点组内出现0到9个连接的频率与预期的偏差。图3C的图315呈现的示例性实例是在5节点组内出现0到11个连接的频率与预期的偏差。图3D的图320呈现的示例性实例是在6节点组内出现0到15个连接的频率与预期的偏差。图3E的图325呈现的示例性实例是在7节点组内出现0到19个连接的频率与预期的偏差。图3F的图330呈现的示例性实例是在8节点组内出现0到22个连接的频率与预期的偏差。图3A-3F中的节点组不一定是形成节点集的节点。而是这些节点组代表节点在神经网络装置内可能的随机分组。

对于所有大小的组，相对大数目的连接在节点随机分组中的频率比预期是随机分配的连接的频率更高。这些与预期的偏差在连接数目超过所述随机分组内的节点数目时通常变得显著。例如，图310显示，4节点随机分组比预期是随机分配的连接更可能有5个或更多的连接。另例如，图315显示，5节点随机分组比预期是随机分配的连接更可能有6个或更多的连接。再例如，图320显示，6节点随机分组比预期是随机分配的连接更可能有7个或更多的连接。

例如，在6节点或更多节点的组中，中等数目的连接在节点随机分组中的频率比预期是随机分配的连接的频率更低。这些与预期的偏差在连接数目少于随机分组中的节点数目但大于或等于所述随机分组中一半节点数目时通常是显著的。例如，图320显示，6节点随机分组具有3个、4个或5个连接的可能比预期是随机分配的连接小。另例如，图325显示，7节点随机分组具有4个、5个或6个连接的可能比预期是随机分配的连接小。再例如，线图330显示，8节点随机分组具有4个、5个、6个或7个(还有8个或9个)连接的可能比预期是随机分配的连接小。

在神经网络装置的实施中节点间的连接性可以具有类似生物神经元簇的一个或更多特征的另一种方式是共有共同邻点的任两个节点自连的概率。图4A、4B的图呈现的示例性实例是体现在训练的或未训练的神经网络装置的实施中，共有不同数目共同邻点的给定节点对自连的可能性的不同概率。共同邻点是与节点对的每一个均连接的第三节点。

在图4A中，图405呈现了一套示例性概率实例，所述概率是在12节点神经网络装置的实施中，共有0个、1个、2个、3个和4个共同邻点的神经网络装置中的给定节点对自连的概率。如所示，随着节点对共有的共同邻点数目增加，所述节点对自连的概率增加。因此，节点对之间连接的可能性与所述节点对共有的共同邻点的数目正相关。作为对比，如果节点对连接的概率独立于所述对共有的共同邻点的数目，那么所述连接概率将不随这对节点共有的共同邻点的数目增加，而是维持不变。

在图4B中，图410呈现的示例性实例是一套线性增加的概率，所述概率是在12节点神经网络装置的实施中，共有0个、1个、2个、3个和4个共同邻点的给定节点对自连的概率。如所示，随着节点对共有的共同邻点数目增加，所述节点对自连的概率线性增加。因此，节点对之间连接的可能性与所述节点对共有的共同邻点的数目正相关。例如，共有4个共同邻点的节点对连接的可能性几乎是没有任何共同邻点的节点对的三倍。

虽然图405、410呈现的是在具有12个节点的神经网络装置中共有共同邻点的节点对自连的示例性概率，但相应的性质也可以在其他大小的神经网络装置中体现。

在训练或未训练的神经网络装置的一些实施中，节点连接的概率还体现具有共同邻点的连接的类型。例如，在一些实施中，从相同共同邻点接受输入的节点对比输出到相同共同邻点的节点对更可能连接。

在一些实施中，不但任意两个节点自连的概率体现共同邻点的数目，而且这些两个节点之间的互连强度(即连接的权重)也体现共有的共同邻点的数目。具体地，两个节点之间的互连强度随共有的共同邻点数目的增加而增加。

共有共同邻点的给定节点对自连的可能性增加可以用于形成包括如下节点集的训练的或未训练的神经网络装置，即其中在具体节点集内的节点与该相同节点集内其他节点比与其他节点集内的节点更可能连接。这样的节点集的实例有节点集115、120、125、130(图1)。具体地，根据节点之间存在连接的概率，连接甚至可以在未训练的神经网络装置中形成。

多种不同的方法可以用于形成这类神经网络装置。例如，在一些实施中，可以根据多种不同过程中的任一种将一套初始连接分配到一套节点中，这些过程包括随机分配过程以及根据其中依照模拟例如连接的两个生物神经元的距离依赖的概率的概率空间进行连接分配的过程。在分配这样的一套初始连接后，可以使用连接再分配过程来对神经网络进行再组织，直到所述网络体现需要的连接概率或其他特征。例如，所述连接再分配可以包括迭代过程，所述迭代过程除去节点间的连接，然后根据体现共有的共同邻点的数目和/或与这些共同邻点的连接类型的概率，将所除去的连接再分配给新的节点。因此，连接再分配过程甚至可以在训练开始前用于组织神经网络装置以使其具有需要的特性。

在其他实施方案中，一套初始连接的分配也体现需要的连接概率或其他特征。换句话说，所有连接分配都可以体现所需要的特征。在这样的实施中，连接向一套节点的初始分配可能不会显著地影响连接分配，因为连接稀疏且不同连接存在的概率大致相等。但是，随着连接密度增加且节点开始共有共同的邻点，具有共同的邻点的节点自连的概率增加。随着进行更多的连接分配，节点会趋于分组成节点集，在所述节点集内与连接到其他节点集内的节点相比，节点更可能连接到同一个节点集内的其他节点。

在一些实施中，这种连接分配过程可以包括迭代过程，所述迭代过程除去节点间的连接，然后根据新节点之间存在连接的概率将所述连接分配给新节点。这种再分配过程可以用于组织甚至未训练的神经网络装置。换句话说，节点集因此可以在训练前形成，并且连接分配(有或无连接再分配)可以在训练神经网络装置前进行。有了预先存在的节点集，神经网络装置训练可以得到神经网络装置，所述神经网络装置能达到需要的信息处理或信息储存结果，并具有根据预先存的节点集进行组织的神经网络——和所述神经网络中的节点集。

在一些实施中，这种连接分配(有或无连接再分配)可以在训练神经网络装置时进行。例如，训练可以在神经网络装置中开始。随着训练的进行，可以优先除去那些对正被训练的神经网络装置的信息处理或信息储存不是非常重要的连接(即具有较低权重的连接)，并根据新节点之间存在连接的概率再分配给新的节点。有时，所述再分配的连接对正被训练的神经网络装置的目的信息处理或信息储存可能是重要的，所述神经网络装置将需要额外的训练以使所述再分配适合。实际上，原来与正被训练的神经网络装置的目的信息处理或信息储存相关的连接可能变得不太相关，并因此可以被再分配。这里，随着所述神经网络装置随时间再组织，所述神经网络装置可以模拟生物可塑性。

可以实施所述分配和/或再分配过程，以通过在硬件、软件或两者结合中实施的适配器组件得到具有需要的特征的神经网络装置。例如，在一些实施中，这样的适配器组件可以是计算机系统的一部分，其分配和/或改变未训练的神经网络装置中的权重。在其他实施中，这样的适配器组件可以和神经网络装置训练器相连来工作，或者是神经网络装置训练器的一部分，所述神经网络装置训练器训练所述神经网络以产生需要的信号流。

在实施神经网络装置中的节点连接可以具有类似生物神经元簇特征的一个或多个特征的另一种方式是以节点之间的互连强度(即连接的权重)的形式。图5A，5B的图呈现的示例性实例是在具有12个节点的训练的或未训练的神经网络装置的实施中，6节点的组或集内节点之间互连的不同平均强度。所述节点组不一定是形成单个节点集的节点。而是这些节点组是节点在神经网络装置中的可能的随机分组。但是，由于所述神经网络装置中的节点数目是相对适中的(即12个节点)，因此随机选择的节点有较高可能性实际上是单个节点集的一部分。因此，这些节点组的性质可以外推到节点集。

可以通过在硬件、软件或两者结合中实施的适配器组件来分配和/或改变这种互连的强度。例如，在一些实施中，这样的适配器组件可以是计算机系统的一部分，其分配和/或改变未训练的神经网络装置中的权重。在其他实施中，这样的适配器组件可以和神经网络装置训练器相连或者作为神经网络装置训练器的一部分而工作，所述神经网络装置训练器可训练所述神经网络以产生需要的信号流。

在图5A中的图505中，至少对于小于或等于组或集内的节点数目的连接数目，随着所述组或集内的连接数目增加，代表所述组或集内节点之间互连强度的示例性实例的权重增加。具体地，在所述示例性图示中，至少对于有6个或更少个的连接的6节点的组或集(在有12节点神经网络装置中)，平均互连强度随连接数目的增加而增加。进一步地，随着组或集内连接的数目增加超过该组或集内的节点数目，代表所述组或集内节点之间的互连强度的示例性实例的权重趋于变得不可区分。具体地，在示例性图示中，对于有7个或更多个的连接的6节点的组或集(在有12节点神经网络装置中)，平均互连强度趋于不可区分。

进一步地，对于小于或等于组或集内的节点数目的连接数目，互连强度的大小与可区分分散的水平相关。具体地，有1个连接的6节点的组或集具有平均互连强度510。有2个连接的6节点的组或集具有平均互连强度515。有3个连接的6节点的组或集具有平均互连强度520。有4个连接的6节点的组或集具有平均互连强度525。有5个连接的6节点的组或集具有平均互连强度530。有6个连接的6节点的组或集具有平均互连强度535。对于有7个或更多连接的6节点的组或集，平均互连强度585可能变得不可区分。

在图5B的图510中，在神经网络装置的一些实施中，代表节点集内节点之间的互连强度的示例性实例的权重随着所述组或集内连接数目的增加而增加。具体地，随着所述组或集内连接数目增加，平均连接强度非线性地增加，每增加一个连接的互连强度的增加减小。在呈现的示例性实例中，随着所述组或集内连接数目超过所述组或集内节点数目，平均连接强度渐近地达到极限。在一些实施中，对平均互连强度的该极限可模拟代表生物神经元之间最强互连的饱和水平。例如，平均互连强度的极限可以独立于组或集内的节点数目，并且对于不同大小的组或集都基本相同。

进一步地，对于至少某些数目的连接，连接的互连强度的大小与可区分分散的水平相关。例如，有1个连接的6节点的组或集具有平均互连强度555。有2个连接的6节点的组或集具有平均互连强度560。有3个连接的6节点的组或集具有平均互连强度565。有4个连接的6节点的组或集具有平均互连强度570。有5个连接的6节点的组或集具有平均互连强度575。有6个连接的6节点的组或集具有平均互连强度580。平均互连强度继续增加，直到6节点的组或集具有12个或更多个连接。

虽然图505、510仅呈现了在有12个节点的神经网络装置中具有6个节点的组或集的示例性实例，但其他大小的组或集内节点之间的平均互连强度也具有可在其他大小的神经网络装置中体现的类似性质。

节点组或集内节点之间的平均互连强度体现了这些组或集内的连接数目，组或节点集内连接的权重不一定体现对所述神经网络装置的训练。在这方面，如前文所述，将权重在训练过程中合适地改变，以产生需要的信号流并达到需要的信息处理或信息储存结果。高度互连的组或集(例如其中所述组或节点集内的连接数目超过所述组或节点集内的节点数目的组)可能是如下的组或节点集，即在所述组或节点集内，与连接到其他组或节点集内的节点相比，节点更可能连接到该组或节点集内的其他节点。但是，随着高度连接的组或集的权重变得不可区分并且甚至可能渐近地达到极限，体现具体训练的权重主要或甚至排他性地体现为不同组或集内的节点之间的连接权重。

鉴于此，在一些实施中，

—训练的或未训练的神经网络装置的节点组内的平均互连强度体现每个组内的连接数目，并且

—任何节点对连接的概率可体现这些节点共有的共同邻点的数目，节点对之间的平均互连强度还可以体现这些节点共有的共同邻点的数目。在这方面，当随机选择的节点组包含具有若干共同邻点的节点对时，所述节点对连接的概率更高。因此，这样的随机选择的节点组(即包含具有若干共同邻点的节点对的组)相对于包含具有更少共同邻点的节点对的组可能有更多的连接。由于平均互连强度随着组内连接数目的增加而增加，包含有更大共同邻点数目的节点对的随机选择组可能具有更高的平均互连强度。

在一些实施中，训练的或未训练的神经网络装置中的节点可以具有体现所述组或集内的这些节点共有的共同邻点的数目的平均互连强度。这种互连强度可以通过在硬件、软件或两者结合中实施的适配器组件来分配和/或改变。例如，在一些实施中，这样的适配器组件可以是计算机系统的一部分，其分配和/或改变未训练的神经网络装置中的权重。在其他实施中，这样的适配器组件可以和神经网络装置训练器相连或者作为神经网络装置训练器的一部分而工作，所述神经网络装置训练器可训练所述神经网络以产生需要的信号流。

图6的图600呈现的示例性实例是，在具有12个节点的训练的或未训练的神经网络装置的实施中，具有不同互连数目的节点之间的互连强度的不同概率密度分布。具体地，曲线605呈现的示例性实例是具有0个共同邻点的节点之间的连接具有具体互连强度的概率。曲线610呈现的示例性实例是具有1个共同邻点的节点之间的连接具有具体互连强度的概率。曲线615呈现的示例性实例是具有2个共同邻点的节点之间的连接具有具体互连强度的概率。曲线620呈现的示例性实例是具有3个共同邻点的节点之间的连接具有具体互连强度的概率。

如所示，随着共同邻点数目增加，节点之间的平均互连强度也增加。进一步地，图605、610、615、620呈现的示例性概率分布是正偏态的。在一些实施中，正偏态随着共同邻点数目的增加而增加(如所示)。

虽然图600呈现的是具有12个节点的神经网络装置中互连强度的概率密度分布，但相应的性质可以体现在其他大小的神经网络装置中。

在神经网络装置的一些实施中，随着随机选择的组或节点集内连接数目增加，互连强度的方差趋向于减小。

图7A、7B的图呈现的示例性实例是，在实施训练的或未训练的神经网络装置中，6节点的组或集内节点之间平均互连强度的不同方差。节点组不一定是形成单个节点集的节点。而是这些节点组是神经网络装置中可能的随机节点分组。但是，由于所述神经网络装置中的节点数目是相对适中的(即12个节点)，因此随机选择的节点有较高可能性实际上是单个节点集的一部分。因此，这些节点组的性质可以外推到节点集。

平均互连强度的这种方差可以通过在硬件、软件或两者结合中实施的适配器组件来获得。例如，在一些实施中，这样的适配器组件可以是计算机系统的一部分，其分配和/或改变未训练的神经网络装置中的权重。在其他实施中，这样的适配器组件可以和神经网络装置训练器相连或者作为神经网络装置训练器的一部分而工作，所述神经网络装置训练器可训练所述神经网络以产生需要的信号流。

在图7A的图705中，代表互连强度的权重的方差趋向于随6节点的组或集内的连接数目增加而减小。换句话说，平均互连强度趋向于随着不同的6节点的组或集内的连接数目增加而变得更一致。在所述示例性图示中，方差的减小不是平滑的。例如，有4个连接的6节点的组或集的平均互连强度的方差大于有3个连接的6节点的组或集的平均互连强度的方差。

在图7B的图710中，代表互连强度的权重的方差也趋向于随着不同的6节点的组或集内的连接数目增加而减小。在所述示例性图示中，所述方差减小是平滑的。在所述示例性图示中，对于节点数目是连接数目的一半或更少的组或集(即对于示例性的6节点的组或集，具有3个或更少个连接的组或集)，每增加一个连接的减小速率最大。对于连接数目大约等于节点数目的组或集，每增加一个连接的方差的减小速率降低，对于连接数目2倍或更多倍于节点数目的组或集，每增加一个连接方差的减小速率升高。在其他实施中，每增加一个连接的方差的减小速率不变。

虽然图705、710仅示例了具有6个节点的组或集，但在其他大小的组或集内节点之间的平均互连强度的方差可以有类似性质。

如前文所述，在训练的或未训练的神经网络装置的一些实施中，与连接到其他节点集内的节点相比，节点集内的节点更可能连接于该节点集内的其他节点。例如，在一些实施中，节点集内的节点连接于该节点集内其他节点的可能性1.5倍或2倍于连接到其他节点集内的节点的可能性。

图8的图800呈现的示例性实例是一个节点集内的节点对和两个不同节点集内的节点对连接的概率。在所示的示例性实施中，单个节点集内的节点连接的可能性大约2倍于连接到其他节点集内的节点的可能性。具体地，单个节点集内的节点对的平均连接概率为0.14±0.02，是属于不同节点集的节点对的连接概率0.07±0.005的大约2倍。

在训练的或未训练的神经网络装置的一些实施中，节点集内的平均节点数目在10到100间。在一些实施中，训练的或未训练的神经网络装置可以包含10到100个这样的节点集单元。

图9A、9B的图呈现的示例性实例是训练的或未训练的神经网络装置中节点集大小的不同分布。

在图9A的图905中，具有10到100个节点的节点集的数目大于具有少于10个和多于100个节点的节点集的数目。实际上，在一些实施中，具有多于100个节点的节点集可以由如下的分散的节点集形成，所述分散的节点集共有足够多连接来互连并成为节点集的集。进一步地，节点集的示例性分布是正偏态的。

在图9B的图910中，具有10到100个节点的节点集的数目大于具有少于10个和多于100个节点的节点集的数目。在所述示例性分布中，节点集的大小平滑变化并在每个节点集有20到30个节点时达到最大值。在一些实施中，具有多于100个节点的节点集可以由如下的分散的节点集形成，所述分散的节点集共有足够多连接来互连并成为节点集的集。进一步地，所述节点集的示例性分布是正偏态的。

在训练的或未训练的神经网络装置(其中在一个节点集内的节点比在不同节点集内的节点更可能连接)的一些实施中，所述神经网络装置的集聚系数更高。集聚系数是神经网络装置中节点趋向于聚集在一起的程度的度量。本文使用的顶点的集聚系数是其相邻顶点之间的连接与它们之间可能存在连接的数目的比例(即，所谓的“局部集聚系数”或“Strogatz集聚系数”)。

图10的图1000呈现的示例性实例是训练的或未训练的包含节点集连接性的神经网络装置的集聚系数1005，以及——为了比较——以相同两两连接概率具有随机连接性的网络的集聚系数1010。可以看出，含有节点集连接性的集聚系数显著大于具有随机连接性的集聚系数。

在训练的或未训练的神经网络装置(其中在一个节点集内的节点比不同节点集内的节点更可能连接)的一些实施中，每个节点的输入连接的数目比在幂律分布无标度网络(powerlawscale-freenetwork)中下降得更迅速。

图11的图1100呈现了在训练的和未训练的包含节点集连接性的神经网络装置中的输入连接的累积分布的示例性图1105，以及——为了比较——在幂律分布无标度网络中输入连接的累积分布的图1110。如所示，在所述无标度网络中，幂律分布体现在双对数图中斜率下降的直线中。在另一方面，在双对数标度上，图1105所示的输入连接的累积分布相对不变，但随后更迅速地降低。这种更迅速的下降类似生物神经元中对输入连接的形态学约束(constraint)和其他约束。这些约束的例子包括生物神经元中的树突分支以及可以用于形成连接的刺的数目。体现这类约束的神经网络与无标度网络差异在于节点可自由地形成更大数目的互连，且每个节点的连接的数目有宽得多的分布。

在训练的或未训练的神经网络装置(其中在一个节点集内的节点比不同节点集内的节点更可能连接)的一些实施中，有很多共同邻点的节点对的数目和有很少共同邻点的节点对的数目都大于随机网络。

图12的图1200呈现的示例性实例是训练的和未训练的包含节点集连接性的神经网络装置的节点对共有的共同邻点数目的概率密度分布曲线1205，以及——为了比较——具有随机连接性的网络中节点对共有的共同邻点的数目的曲线1210。可以看出，有很多共同邻点的节点对的数目和有很少共同邻点的节点对的数目都大于随机网络。

可以对神经网络装置进行组织以使其具有上述的一个或多个特征。例如，图13是可以用来对神经网络装置进行组织的过程1300的流程图。过程1300可以由可依照一套或多套机器可读指令集的逻辑进行操作的一个或多个数据处理设备的系统执行。例如，过程1300可以由在训练前或在训练过程中运行用于对神经网络装置进行组织的软件的一台或多台计算机的系统来进行。

执行过程1300的系统在步骤1305从节点的集合中选择节点对。所述节点对可以被随机选择，或者遵循用于节点选择的组织方法——例如通过遍历节点的多维阵列——进行选择。在一些实施中，从中选择所述对的节点的集合可以排列在例如体现任一节点对连接可能性的概率空间中。因此，概率空间类似生物神经元的系统，在所述系统中神经元连接的概率是所述神经元之间间隔距离的函数。在一些实施中，节点在概率空间中不是周期性排列。例如，在一些实施中，可以提供对概率空间中的其他周期性位置干扰较小的不同节点。在其他实施中，节点可以被随机分配至概率空间中的位置。

执行过程1300的系统在步骤1310确定所选择的节点对共有的共同邻点的数目。共同邻点的数目可以从已经存在于节点集合中的连接的记录确定。

执行过程1300的系统在步骤1315还确定所选择的节点对连接的概率。确定的概率可体现共同邻点的数目。例如，在一些实施中，所述概率依据图405、410(图4A、4B)提供的示例连接概率进行确定。在节点排列在体现任何节点对连接的可能性的概率空间中的实施中，共同邻点的数目会改变概率空间的“原始”概率。

使用所确定的所选节点对连接的概率，执行过程1300的系统在判断步骤1320还确定所选择节点是否会被连接。例如，可以将随机选择的数目与所选择节点对连接的概率进行比较，如果随机选择的数目落在所述概率内，那么所述系统确定所述节点会被连接。

作为对确定所选择节点会被连接的响应，执行过程1300的系统在步骤1325在所选择节点对之间形成连接并返回至步骤1305以选择另一节点对。所述连接可以通过例如将新连接的标记记录在存在于所述节点集合中的连接的记录中而形成。所述记录可以被存储在一个或多个数据存储装置中。作为对确定所选择节点不会被连接的响应，执行过程1300的系统返回至步骤1305以选择另一节点对。在某一时刻，在达到足够的连接密度后，系统退出过程1300(未显示)。

在一些实施中，执行过程1300的系统在步骤1315对不同类型的连接确定节点连接的不同概率。例如，所述系统可以确定所述节点以可逆关系连接的第一概率以及所述节点以不可逆关系连接的第一概率。在一些实施中，不可逆关系大约两倍于可逆关系。这些不同的概率可以用于在步骤1320确定所选择节点是否会被连接。在步骤1325形成的连接的种类可以相应地体现所述结果。过程例如过程1300的示例性实施以MATLAB代码呈现如下。

如上所述，在一些实施中，也可以使用再分配过程。例如，图14是可以用来再分配连接并对神经网络装置进行组织的过程1400的流程图。过程1400可以由可依照一套或多套机器可读指令集的逻辑进行操作的一个或多个数据处理装置的系统执行。例如，过程1400可以由在训练前或在训练过程中运行用于对神经网络装置进行组织的软件的一台或多台计算机的系统来进行。过程1400可以单独进行或与其他活动结合进行。例如，在一些实施中，过程1400可以与过程1300结合进行(图13)。

执行过程1400的系统在步骤1405接入对具有分配至节点的连接的神经网络的表征。所述连接可在所述网络中具有初始密度。在一些实施中，所接入的网络是完全未训练的。在另一些实施中，所接入的网络被部分地训练或者被充分地训练以实现合适的处理结果。

执行过程1400的系统在步骤1410选择所述神经网络内的连接的子集。在一些实施中，通过如下方式选择一个或多个连接：比较如果所述神经网络的剩余部分保持不变，新连接将在那两个节点之间形成的可能性。在这种实施中，可以优先选择最不可能新形成的连接。在一些实施中，对于部分或完全训练的神经网络，通过确定连接对所述信息处理或信息储存的贡献而选择一个或多个连接。在这种实施中，可以优先选择对所述信息处理或储存贡献最小(例如具有最低的权重)的连接。在一些实施中，可以基于所述连接将新形成的可能性和所述连接对于信息处理或信息储存的贡献这两者来优先地选择一个或多个连接。

执行过程1400的系统在步骤1415从神经网络中除去所选择的连接子集。例如，可以从神经网络内的的连接记录中除去所述连接。这样的记录可以储存在一个或多个数据存储装置中。执行过程1400的系统在步骤1420还向神经网络中加入一个或多个新连接。例如，在一些实施中，所述系统可以使用例如过程1300的过程，以确定选择的节点对是否会连接并形成一个或多个新连接。在一些实施中，加入所述神经网络中的新连接数目与从所述神经网络除去的连接数目持平，使得所述神经网络内的总连接密度不变。

在一些实施中，执行过程1400的系统重复地选择、除去并增加连接，直到所述神经网络达到例如集聚系数或连接性结构的准稳态。例如，在一些实施中，在步骤1410选出的要除去的节点新形成的可能性与在步骤1420增加的新节点的可能性相当或者更大。在另一个例子中，在一些实施中，在步骤1410选出的要除去的节点对于信息处理或储存的贡献与在步骤1420增加的新节点在进一步训练后对于信息处理或储存的贡献相当或者更大。

过程例如过程1400的一个示例性实施以MATLAB代码呈现如下。

用于对共同邻点效应建模的网络组织函数的MATLAB代码。

还可以训练使用过程1300和1400之一或两者进行组织的神经网络装置。所述训练合适地改变节点之间的权重，以达到所需的信息处理或信息储存结果。在一些实施中，这种训练合适地改变节点集之间连接的权重至比节点集内部连接的权重更大的程度。

图15是用于形成神经网络装置的过程1500的流程图。过程1500可以由可依照一套或多套机器可读指令集的逻辑进行操作的一个或多个数据处理装置的系统执行。例如，过程1500可以由在训练前或在训练过程中运行用于对神经网络装置进行组织的软件的一台或多台计算机的系统来执行。过程1500可以单独进行或与其他活动结合进行。例如，在一些实施中，过程1500可以与过程1300或1400中的一个或两个结合进行(图13、14)。

执行过程1500的系统在步骤1505形成具有确定内部特征的一组节点集。节点集的内部特征是所述节点集内的节点和连接的特征，不包括例如不同节点集之间的连接的排列和权重。

在一些实施中，不同节点集可以被定义为具有相对稳定的和可重现的内部特征。所述内部特征可以是稳定的，原因是从这种节点集形成的神经网络装置对个体节点集内的连接的排列和权重具有相对较小的影响。所述内部特征可以是可重现的，原因是对所述节点集进行组织和确定权重可以一致体现不同的设计规则。用于实现这种特征的设计规则的实例包括图2-12中呈现的和前文所述的一个或多个示例性实例。所述节点集的组可以通过包括新连接形成和再分配的过程形成。例如，可以使用过程1300(图13)、过程1400(图14)或者过程1300、1400的结合(图13、14)形成所述节点集的组。

可以被定义的内部特征的一个实例是每个节点集的活动水平。各个节点集的活动水平可以被定义以体现例如该节点集内的节点数目、该节点集的连接数目、该节点集的连接权重或者这些特征的中两个或多个的结合。例如，在一些实施中，对于给定数目的节点和集内连接，可以形成集内连接的权重达到神经网络装置的上限(或饱和水平)的节点集。

图16的示意图是节点集的示例组1600。组1600包括节点集1605、1610、1615、1620、1625。节点集1605、1610、1615、1620、1625可以有相对稳定的和可重现的内部特征，包括例如如图2-12呈现的和前文所述的特征的示例性实例。例如，在一些实施中，所有节点集1605、1610、1615、1620、1625中的集内连接的权重都达到所述神经网络装置的上限(或饱和水平)。

回到图15，执行过程1500的系统在步骤1510分配节点集之间的连接并确定权重，以达到需要的信息处理或信息储存结果。所述分配和确定权重因此可训练所述神经网络装置。所述训练优先体现在节点集之间的连接中，而不是(相对更稳定的)节点集内的连接中。在一些实施中，所述分配和确定权重可以包括新的集间连接的形成、集间连接的再分配或者集间连接的形成和再分配两者。

图17的示意图是示例性神经网络装置1700，其中这种集间连接1705已经在节点集1605、1610、1615、1620、1625之间形成。集间连接1705的排列和权重可以体现调整神经网络装置1700以达到需要的信息处理或信息储存结果的训练。

本说明书中所述的主题和操作的实施方案可以在数字电子电路中；在计算机软件、固件或硬件(包括本说明书公开的结构及其结构等同物)中；或者在它们的一个或多个的结合中实施。本说明书所述主题的实施方案可以实施为一个或多个计算机程序，即一个或多个计算机程序指令模块，所述计算机程序编码在计算机存储介质中，用于由数据处理装置执行，或者控制数据处理装置的操作的操作。作为替换或另外，所述程序指令可以编码在人工产生的传播信号上，例如机器产生的电、光或电磁信号，所述信号被生成以编码信息，用于传播到合适的接收装置，用于由数据处理装置执行。计算机存储介质可以是计算机可读的存储装置、计算机可读的存储基片、随机或连续读存取存储器芯片或装置或它们的一个或多个的结合，或者被包括在其中。另外，虽然计算机存储介质不是传播信号，但计算机存储介质可以是在人工产生的传播信号中编码的计算机程序指令的源或目标。所述计算机存储介质还可以是一个或多个单独的物理组件或介质(例如，多个CD、磁盘或其他存储装置)，或者被包括在其中。

本说明书所述的操作可以按如下所述实施，由数据处理装置对存储在一个或多个计算机可读装置中的数据或从其他源接收的数据进行操作。

术语“数据处理装置”包含所有类型的用于处理数据的设备、装置和机器，例如包括可编程处理器、计算机、在芯片上的系统或者前述这些的多个或结合。所述设备可以包括特定用途的逻辑电路，例如FPGA(现场可编程门阵列)或ASIC(特定应用集成电路)。除硬件之外，所述设备还可以包括，为所述及的计算机程序创造执行环境的代码，例如构成处理器固件的代码、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或者它们的一个或多个的结合。所述装置和执行环境可以实现多种不同的计算模型基础结构，例如网络服务、分布式计算和网格计算基础结构。

计算机程序(也称为程序、软件、软件应用、脚本或代码)可以用任何形式的编程语言编写，所述编程语言包括汇编或解释语言、陈述性或程序性语言，并且其可以以任何形式部署，包括作为独立程序或作为模块、组件、子程序、对象或适合在计算环境中使用的其他单元。计算机程序可以但不需要对应于文件系统中的文件。程序可以存储在含有其他程序或数据(例如一个或多个存储在标记语言文档中的脚本)的文件的一部分中，在所述及程序专用的单文件中，或者在多个并列文件(例如存储一个或多个模块、子程序或部分代码的文件)中。计算机程序可以被部署，以在一台计算机上或在多台计算机上执行，所述多台计算机可以在一个位置或者分布在多个位置并通过通讯网络互连。

本说明书所述的过程和逻辑流可以由一个或多个可编程的处理器进行，所述处理器可以执行一个或多个计算机程序以通过对输入数据进行操作并生成结果来进行动作。所述过程和逻辑流还可以通过专门目的的逻辑电路例如FPGA(现场可编程门阵列)或ASIC(特定应用集成电路)进行，并且所述设备还可以执行为专门目的的逻辑电路例如FPGA(现场可编程门阵列)或ASIC(特定应用集成电路)。

适合执行计算机程序的处理器包括例如通用处理器、专用处理器以及任何种类的数字计算机的任一个或多个处理器。一般来说，处理器会从只读存储器或随机访问存储器或这两者接收指令和数据。计算机的必需单元是根据指令执行动作的处理器以及存储指令和数据的一个或多个存储装置。一般来说，计算机还包括存储数据的一个或多个大容量存储装置，或者操作地连接以从一个或多个大容量存储装置接收数据或传输数据到一个或多个大容量存储装置，或者上述两者同时存在，所述存储装置例如有磁盘、磁光盘或光盘。不过，计算机可不需要这种装置。另外，计算机可以嵌入到别的装置中，例如手机、个人数字助手(PDA)、移动音频或视频播放器、游戏机、全球定位系统(GPS)接收器、或便携式存储装置(例如通用串行总线(USB)闪存盘)等。适合存储计算机程序指令和数据的装置包括所有形式的非易失性存储器、介质和存储装置，包括例如半导体存储装置，例如EPROM、EEPROM和闪存装置；磁盘，例如固有硬盘或可移除磁盘；磁光盘；以及CD-ROM和DVD-ROM。处理器和存储器可以由特定目的的逻辑电路补充，或被整合在特定目的的逻辑电路中。

为了提供与用户的交互，本发明所述的主题的实施方案可以在这样的计算机上执行，即该计算机具有用于对用户显示信息的显示装置例如CRT(阴极射线管)或LCD(液晶显示)显示器的计算机上执行，以及通过其用户可以对所述计算机提供输入的键盘和指针装置，例如鼠标或跟踪球。其他种类装置也可以用于提供与用户的交互；例如，对用户提供的反馈可以是任何形式的感官反馈，例如视觉反馈、听觉反馈或触觉反馈；来自用户的输入可以任何形式接收，包括声音输入，语言输入或触觉输入。另外，计算机可以通过发送文档到用户使用的装置和从用户使用的装置接收文档来与用户交互；例如，通过发送网页到用户客户端装置的网页浏览器来响应从所述网页浏览器接收到的请求。

虽然本说明书包含许多具体的实施细节，但这些不应被解释为对任何本发明的范围或可以要求保护的范围的限制，而是对具体发明的具体实施方案特异的特征的描述。本说明书所述的在分别的实施方案情况下描述的一些特征还可以在单个实施方案中以结合方式实施。相反，在单个实施方案的情况下描述的多个特征还可以在多个实施方案中分别地实施或以任何合适的子结合实施。另外，虽然特征可以在上文描述为在一些结合中进行，甚至最初要求保护的就是如此，但是来自要求保护的结合的一个或多个特征可以在某些情况下从所述结合中删除，并且要求保护的结合可以涉及子结合或子结合的变体。

类似地，虽然操作在图中以特定的顺序被描述，但这不应被理解为需要这些操作以所示的特定顺序或者以连续顺序进行，也不应被理解为所有示例的操作都被进行才会达到需要的结果。在某些情况下，多任务和并行处理可能是有利的。另外，在前文所述的实施方案中将多个系统组件分开不应被理解为在所有实施方案中都需要这种分开，而应理解为所述的程序组件和系统一般可以在单一软件产品中整合到一起或者打包为多个软件产品。

至此，已经描述了本主题的具体实施方案。其他实施方案在随后的权利要求书范围内。在某些情况下，权利要求书中叙述的动作可以以不同的顺序进行并仍能达到需要的结果。另外，附图中描述的过程不需要所示的特定顺序或连续顺序来达到需要的结果。在某些实施中，多任务和并行处理可能是有利的。

Claims (15)

1.一种用于模拟生物神经元网络的计算机实施的神经网络装置(100)，该装置包括：

由集间连接(110，150)互连的节点集(115，120，125，130)的集合，每个节点集本身包括由多个集内连接(110，145)互连的节点(105)的网络，其中每个节点(105)代表信息处理构件，该信息处理构件被配置为处理经一个或多个连接(110，145，150)接收的一个或多个输入信号，以产生经一个或多个连接(110，145，150)输出的一个或多个输出信号，以及其中每个集间连接和集内连接都有相关的权重，每个权重体现由相关连接所连接的节点之间的连接强度，与连接到其他节点集内的节点相比，每个集内的节点更可能连接到该集内的其他的节点；以及

适配器组件，被配置用于通过以下方式再分配所述节点(105)之间的连接(110，145，150)，即，除去待要再分配的连接(110，145，150)，并且根据体现与其他节点(105)共有的共同邻点的数目的概率，将所除去的连接再分配给其他节点(105)，其中所述共有的共同邻点是与节点对的每一个均连接的第三节点，以及其中所述概率随着共有的共同邻点数目的增加而增加。

2.权利要求1的神经网络装置，其中所述权重体现由相关连接(110，145，150)所连接的节点(105)的共有的共同邻点的数目，其中所述连接强度随着共有的共同邻点数目的增加而增加。

3.权利要求1或2的神经网络装置，其中所述节点(105)代表神经元，以及所述连接(110，145，150)代表突触连接，以及其中所述权重代表生物神经元网络中的神经元之间的突触连接的强度。

4.权利要求1的神经网络装置，其中节点集(115，120，125，130)的集内连接(110，145)的权重体现各个节点集(115，120，125，130)内的集内连接(145)的数目。

5.权利要求1的神经网络装置，其中随着各个节点集(115，120，125，130)内的连接数目超过各自的节点集内的节点数目，所述各个节点集(115，120，125，130)的平均互连强度逐渐达到各自的极限。

6.权利要求1的神经网络装置，其中所述适配器组件被进一步配置以基于每个集内连接的集(115，120，125，130)内其他节点数目来改变所述集内连接(110，145)各自的权重大小。

7.权利要求1的神经网络装置，其中所述适配器组件被进一步配置以基于节点集(115，120，125，130)内的节点(105)数目来改变每个节点集(115，120，125，130)内节点(105)之间的连接概率。

8.一种形成模拟生物神经元网络的神经网络装置(100)的计算机实施的方法，该方法包括：

形成节点(105)网络和连接所述节点的连接(110，145，150)，其中每个节点(105)代表信息处理构件，该信息处理构件被配置为处理经一个或多个连接(110，145，150)接收的一个或多个输入信号，以产生经一个或多个连接(110，145，150)输出的一个或多个输出信号；并

通过以下方式再分配所述网络的节点(105)之间的连接(110，145，150)，即，断开待要再分配的连接(110，145，150)，并且根据体现与其他节点(105)共有的共同邻点的数目的概率，将所断开的连接与其他节点(105)连接，其中所述共有的共同邻点是与节点对的每一个均连接的第三节点，以及其中所述概率随着共有的共同邻点数目的增加而增加。

9.权利要求8的方法，其中每个连接(110，145，150)都有相关的权重，每个权重体现由相关连接(110，145，150)所连接的节点(105)之间的连接强度，以及其中所述权重体现由相关连接(110，145，150)所连接的节点(105)的共有的共同邻点的数目，其中所述连接强度随着共有的共同邻点数目的增加而增加。

10.权利要求8的方法，其中节点(105)连接的概率与所述节点(105)共有的共同邻点的数目正相关。

11.权利要求8的方法，其中从相同的共同邻点接受输入的节点对比输出到相同的共同邻点的节点对更可能被连接。

12.权利要求8的方法，还包括重复所述再分配直到达到稳态，其中所述稳态包括产生预定信号流的神经网络装置。

13.权利要求8到12中任一项的方法，其中所述节点网络包括由集间连接(110，150)互连的节点集(115，120，125，130)的集合，每个节点集本身包括由多个集内连接互连的节点(105)网络，所述方法还包括对所述节点(105)网络进行训练，

其中对所述节点网络进行训练包括：以稳定的权重来确定节点集(115，120，125，130)内的连接(110，145)的权重；并

确定节点集(115，120，125，130)之间的连接(110，145)的权重以体现所述训练，同时保持所述节点集内的连接(110，145)的权重不变。

14.权利要求13的方法，其中，在训练中，具有低于阈值的相关权重的连接被除去，并且根据其他节点存在连接的概率被再分配给其他节点。

15.权利要求8的方法，还包括重复再分配，直到各个节点集内的连接数目超过该各个节点集内的节点数目，还包括以随着连接数目超过节点数目达到极限的权重，来确定各个节点集的连接的权重。