CN104620236A

CN104620236A - 用于神经网络的基于标记的装置和方法

Info

Publication number: CN104620236A
Application number: CN201380025107.5A
Authority: CN
Inventors: B·绍特马里; E·M·伊日科维奇
Original assignee: Brain Corp
Current assignee: Qualcomm Inc
Priority date: 2012-03-15
Filing date: 2013-03-15
Publication date: 2015-05-13
Anticipated expiration: 2033-03-15
Also published as: EP2825974A1; EP2825974A4; CN104620236B; CN106991475A; WO2013138778A1

Abstract

用于使用标记实现高级神经元形态网络描述(HLND)的装置和方法。框架可被用于定义节点类型，定义节点至节点连接类型，实例化针对不同节点类型的节点实例，和/或生成这些节点之间的连接类型的实例。HLND格式可被用于定义节点类型，定义节点至节点连接类型，实例化针对不同节点类型的节点实例，使用标记来动态地标识和/或选择网络子集、和/或使用此类子集来生成这些节点之间的一个或多个连接的实例。为了促成HLND操作和歧义性消除，网络的个体元素(例如，节点、扩展、连接、I/O端口)可被指派至少一个唯一性标记。该标记可被用于标识和/或引述相应网络元素。HLND内核可包括至元素式网络描述的接口。

Description

用于神经网络的基于标记的装置和方法

相关技术描述

绝大多数现有的神经元模型和系统包括具有简单单元(称为神经元(neuron))的网络，这些简单单元经由称为突触的连接彼此交互。此类神经元系统中的信息处理可并行地执行。

有许多专门软件工具可以帮助神经科学家模拟神经系统的模型。这些工具的示例可包括可能设计成主要供神经科学家使用的高级实现，诸如NEURON、GENESIS、NEST、BRIAN、和/或其它高级实现中的一者或多者。此类工具可能通常要求大量专门知识，可能是麻烦的，并且可能要求定制才能在使用特定软件和硬件引擎来执行的模拟期间达成高效性能(尤其是在要求实时性能时，如在自主机器人应用中)。

类似地，低级实现(诸如汇编语言、低级虚拟机(LLVM)语言、Java字节码、因芯片而异的指令集、和/或其它低级实现中的一者或多者)可被设计用于x86、ARM^TM、和/或其它硅芯片上的高效硬件实现。然而，此类实现可能不适合用于神经元系统的并行模拟，这主要是因为硅芯片不是为用于此类并行神经元模拟而设计的。

总体上，现有的办法具有实质性缺点，因为它们不能提供设计神经网络中的足够灵活性，要求专业知识、和/或因平台而异的定制才能利用专门硬件。

相应地，存在对用于以人类可阅读且机器可解读的简单且无歧义的方式来定义网络架构的通用高级网络描述的显著需求。

概述

本发明尤其通过提供用于神经元形态系统的高级网络描述的装置和方法等来满足上述需求。

本发明的一个方面涉及一种实现神经网络的由计算机实现的方法。在一些实现中，该网络可包括多个元素。该方法可包括标识这多个元素的子集。该方法可包括向该子集的个体元素指派标记。给定标记的指派可被配置成使得能生成包括该子集的至少一部分元素的新网络元素。

在一些实现中，该标记可包括被配置成标识一个或多个个体元素的唯一性标识符。

在一些实现中，个体元素可从这多个元素中随机地选择。该子集的个体元素可包括单元。该标记可包括串(strng)标识符。

在一些实现中，该标记可包括字母数字标识符，其可被适配成标识该子集的相应各个元素的空间坐标。该子集可包括多个节点。该字母数字标识符可包括这多个节点中的至少一个节点的标识符。

在一些实现中，该新网络元素可包括连接。该连接可包括以下一者或多者：(i)突触、(ii)结、和/或与连接相关联的其它特征。

本发明的另一方面涉及一种在神经网络中生成多个连接的由计算机实现的方法。该神经网络可包括多个元素。在一些实现中，该方法可包括以下一者或多者：(i)执行至少包括第一标记和第二标记的第一逻辑表达式，至少部分地基于该执行，(ii)标识这多个元素的第一子集和第二子集，(iii)生成第一子集的至少一部分与第二子集的至少一部分之间的多个连接，和/或其它操作。在一些实现中，第一子集的一个或多个个体元素可包括第一标记。第二子集的个体元素可包括第二标记。

在一些实现中，第一子集和/或第二子集的个体元素可包括该网络的节点。该方法可包括向第一子集的一个或多个个体元素指派第一标记。

在一些实现中，第一标记或第二标记中的一者或两者可由有限生存期来表征。

本发明的又一方面涉及一种动态划分计算机化神经网络的方法。在一些实现中，该方法可包括以下一者或多者：(i)标识该网络的元素子集、(ii)将标记指派给该子集的每一元素、和/或其它操作。根据一些实现，该标识和该指派可协作以使得能使用单个选择操作来选择该子集的一个或多个个体元素。

在一些实现中，该网络可包括多个元素。该子集可包括这多个元素的多个节点。

在一些实现中，标识该子集可以至少部分地基于执行包括一个或多个关键字(包括AND(与)、NOT(非)、OR(或)和/或其它关键字)的布尔表达式。

在一些实现中，该方法可包括以下一者或多者：(i)标识该网络的另一元素子集、(ii)将另一标记指派给该另一子集的每一元素、(iii)启用该子集内的至少一部分元素与该另一子集的元素之间的多个连接、和/或其它操作。

在一些实现中，这多个连接中的一个或多个个体连接可包括突触和结之一。这多个连接中的一个或多个个体连接可至少部分地基于该标记和该另一标记来启用。

本发明的又一方面涉及一种处理装置。在一些实现中，该处理装置可包括被配置成存储多个指令的非易失性存储介质，该多个指令在被执行时可以实行根据一种方法的对神经网络的动态划分。该方法可包括以下一者或多者：(i)标识该神经网络的元素子集、(ii)将标记指派给该元素子集的每一元素、和/或其它操作。该标记可包括被配置成标识一个或多个个体元素的标识符。在一些实现中，指派标记可被配置成使得能生成包括该元素子集的新网络元素。

在一些实现中，该方法可以利用专用集成电路(ASIC)使用ASIC指令集来实现。

在一些实现中，该方法可包括由该处理装置执行被配置成标识该子集的一个或多个个体元素的数学表达式。该数学表达式可包括布尔运算。

在一些实现中，该子集的一个或多个个体元素可以使用随机选择操作来选择。

在一些实现中，该方法可包括将该标记指派给该新网络元素。将标记指派给该子集可被配置成使得能将该网络表示为有向图。

在一些实现中，该方法可包括将第二标记指派给该子集。第二标记可与前述标记相异。

本发明的进一步方面涉及一种神经元网络逻辑。在一些实现中，该神经元网络逻辑可包括在数字处理器上执行的一系列计算机程序步骤和/或指令。在一些实现中，该逻辑可包括硬件逻辑(例如，在ASIC或FPGA中实施)。

本发明的又一方面涉及一种计算机可读装置。在一些实现中，该装置可包括其上存储有至少一个计算机程序的存储介质。该程序可被配置成在被执行时实现人工神经元网络。

本发明的另一方面涉及一种系统。在一些实现中，该系统可包括有多个节点与之相关联的人工神经元(例如，尖峰)网络、受控装置(例如，机器人或假体装置)、和/或其它组件。

在参照附图考虑了以下描述和所附权利要求之后，本公开的这些以及其它目的、特征和特性、以及有关结构元素的操作方法和功能及部件组合和制造的组织体系将变得更为明了，所有附图构成本说明书的一部分，其中相同的附图标记在各图中指示对应部件。然而要清楚理解的是，附图仅用于解说和描述目的，并且无意作为对本公开的限定的定义。如在本说明书及所附权利要求中使用的，单数形式的“一”、“某”和“该”包括复数指示对象，除非上下文清楚规定并非如此。

附图简述

图1是解说根据一个或多个实现的包括多个节点和节点连接的人工神经网络的框图。

图2是解说根据一个或多个实现的作为网络对象的神经节点类型的框图。

图3A是解说根据一个或多个实现的节点互连的框图。

图3B是解说根据一个或多个实现的包括均匀树突的节点互连的框图。

图3C是解说根据一个或多个实现的非均匀节点互连的框图。

图4是解说根据一个或多个实现的公共多房室神经元(MCN)的框图。

图5是解说根据一个或多个实现的公共节点声明的示例性伪码。

图6是解说根据一个或多个实现的使用公共节点定义的公共节点互连的框图。

图7是解说根据一个或多个实现的包括两个输入接口和单个输出接口的私有MCN的框图。

图8是解说根据一个或多个实现的私有神经元互连的框图。

图9是解说根据一个或多个实现的节点子集标记添加的图形。

图10是解说根据一个或多个实现的空间标记继承的框图。

图11是解说END引擎的各种示例性实现的框图。

图12是解说根据一个或多个实现的使用HLND GUI界面进行节点创建的框图。

图13是解说根据一个或多个实现的使用HLND GUI界面进行节点子集选择的框图。

图13A是解说根据一个或多个实现的使用HLND GUI界面进行节点子集选择的框图。

图13B是解说根据一个或多个实现的使用HLND GUI界面进行节点子集选择的框图。

图14是解说根据一个或多个实现的使用HLND GUI界面进行节点选择、标记添加和连接生成的框图。

图15是解说根据一个或多个实现的使用HLND和END描述进行神经网络计算的框图。

图16是解说根据一个或多个实现的可与HLND框架联用的计算机化装置的框图。

图17是解说根据一个或多个实现的可与HLND框架联用的数据流的框图。

详细描述

现在将参照附图来详细描述本公开的实现，提供附图仅作为解说性示例以便使本领域技术人员能够实践本公开。值得注意的是，以下的附图和示例并不旨在将本公开的范围限定于单个实现，相反，藉由与一些或全部所描述或所解说的元素的交换或组合，其它实现也是可能的。在任何方便的地方，相同附图标记将贯穿附图始终用于指代相同或类似部分。

在这些实现的某些元素可部分或完全使用已知组件来实现的情况下，将仅描述此类已知组件的对于理解本公开所必要的那些部分，并且此类已知组件的其它部分的详细描述将被省略以便不会混淆本公开。

在本说明书中，示出单数组件的实现不应被认为构成限定；确切而言，本公开旨在涵盖包括多个相同组件的其它实现，反之亦然，除非本文另外明确声明。

此外，本公开涵盖了本文藉由解说所引述的组件的现在和将来已知的等效物。

如本文所使用的，术语“总线”一般意在标示被用于访问突触和神经元存储器的所有类型的互连或通信架构。“总线”可以是光学、无线、红外、和/或另一类型的通信介质。总线的确切拓扑可以是例如标准“总线”、阶层式总线、片上网络、地址-事件-表示(AER)连接、和/或用于访问例如基于脉冲的系统中的不同存储器的其它类型的通信拓扑。

如本文所使用的，术语“计算机”、“计算设备”、和“计算机化设备”可包括以下一者或多者：个人计算机(PC)和/或微型计算机(例如，台式计算机、膝上型计算机、和/或其它PC)、大型计算机、工作站、服务器、个人数字助理(PDA)、手持式计算机、嵌入式计算机、可编程逻辑器件、个人通信器、平板计算机、便携式导航辅助、装备有J2ME的设备、蜂窝电话、智能电话、个人集成通信和/或娱乐设备、和/或能够执行指令集并处理传入数据信号的任何其它设备。

如本文所使用的，术语“计算机程序”或“软件”可包括执行功能的人类和/或机器可认知步骤的任何序列。此类程序可用包括以下一者或多者的编程语言和/或环境来呈现：C/C++、C#、Fortran、COBOL、MATLAB^TM、PASCAL、Python、汇编语言、标记语言(例如，HTML、SGML、XML、VoXML)、面向对象的环境(例如，共用对象请求代理架构(CORBA))、Java^TM(例如，J2ME、Java Beans)、二进制运行时环境(例如、BREW)、和/或其它编程语言和/或环境。

如本文所使用的，术语“连接”、“链路”、“传输信道”、“延迟线”、“无线”可包括任何两个或更多个实体(无论是物理的还是逻辑/虚拟的)之间的因果链路，该链路可以实现各实体之间的信息交换。

如本文所使用的，术语“存储器”可包括集成电路和/或适配成用于存储数字信号的其它存储设备。藉由非限定性示例，存储器可包括以下一者或多者：ROM、PROM、EEPROM、DRAM、移动DRAM、SDRAM、DDR/2 SDRAM、EDO/FPMS、RLDRAM、SRAM、“闪”存(例如，NAND/NOR)、忆阻器存储器、PSRAM、和/或其它类型的存储器。

如本文所使用的，术语“微处理器”和“数字处理器”一般意在包括数字处理设备。藉由非限定性示例，数字处理设备可包括以下一者或多者：数字信号处理器(DSP)、精简指令集计算机(RISC)、通用(CISC)处理器、微处理器、门阵列(例如，现场可编程门阵列(FPGA))、PLD、可重配置计算机织构(RCF)、阵列处理器、安全微处理器、专用集成电路(ASIC)、和/或其它数字处理设备。此类数字处理器可被包含在单个酉IC管芯上，或跨多个组件分布。

如本文所使用的，术语“网络接口”是指与组件、网络、和/或进程的任何信号、数据、和/或软件接口。藉由非限定性示例，网络接口可包括以下一者或多者：火线(例如，FW400、FW800等)、USB(例如USB2)、以太网(例如，10/100、10/100/1000(千兆比特以太网)、10-Gig-E(10千兆比特以太网)等)、MoCA、Coaxsys(例如，TVnet^TM)、射频调谐器(例如，带内或OOB、电缆调制解调器等)、Wi-Fi(802.11)、WiMAX(802.16)、PAN(例如802.15)、蜂窝(例如，3G、LTE/LTE-A/TD-LTE、GSM等)、IrDA族、和/或其它网络接口。

如本文所使用的，术语“突触信道”、“连接”、“链路”、“传输信道”、“延迟线”和“通信信道”包括任何两个或更多个实体(无论是物理的(有线或无线)、还是逻辑/虚拟的实体)之间的链路，该链路实现各实体之间的信息交换，并且可由影响此信息交换的一个或多个变量来表征。

如本文所使用的，术语“Wi-Fi”包括以下一者或多者：IEEE标准802.11、IEEE标准802.11的变体、与IEEE标准802.11有关的标准(例如，802.11a/b/g/n/s/v)、和/或其它无线标准。

如本文所使用的，术语“无线”意指任何无线信号、数据、通信、和/或其它无线接口。藉由非限定性示例，无线接口可包括以下一者或多者：Wi-Fi、蓝牙、3G(3GPP/3GPP2)、HSDPA/HSUPA、TDMA、CDMA(例如，IS-95A、WCDMA等)、FHSS、DSSS、GSM、PAN/802.15、WiMAX(802.16)、802.20、窄带/FDMA、OFDM、PCS/DCS、LTE/LTE-A/TD-LTE、模拟蜂窝、CDPD、卫星系统、毫米波或微波系统、声学、红外(即，IrDA)、和/或其它无线接口。

综览

本公开尤其提供了可被配置成以简单和无歧义方式来定义神经元网络架构的计算机化高级网络描述装置和方法等。

在一些实现中，一种计算机化装置可被配置成实现高级网络描述(HLND)内核。该HLND内核可使用户能使用人类可阅读且机器可解读的统一且无歧义的表示来定义神经元形态网络架构。

在一些实现中，HLND格式可被用于定义节点类型、节点至节点连接类型、实例化针对不同节点类型的节点实例、使用标记来动态地标识和/或选择网络的子集、使用此类子集来生成这些节点之间的连接的实例、和/或与节点和/或标记相关联的其它信息。

HLND格式可以提供计算神经科学家所要求的一些或所有灵活性并且可以向在建模神经元方面经验有限的用户提供用户友好的界面。

在一些实现中，HLND内核可包括至元素式网络描述(END)的接口。END引擎可被配置成以独立于硬件的方式来高效表示神经元系统和/或可以实现HLND模型描述至用于由各种处理模块执行的硬件指令的无缝转译。

在一些实现中，HLND框架可包括图形用户界面(GUI)，其被配置成使用户尤其能创建节点、选择节点子集、经由GUI使用图形动作来连接选定子集、和/或执行与本公开一致的其它操作等。GUI引擎可被配置成生成HLND语句，其可对应于以上用户动作，而无需来自用户的进一步输入。HLND框架可被配置成将HLND语句转换为经由GUI呈现的对网络的图形表示。HLND可包括一个或多个组件，这些组件包括(i)使用GUI的网络图形描绘、(ii)HLND语句的对应列表、和/或其它组件。HLND的一个或多个组件可被配置成一致地表示关于网络的相同信息，因为一种表示中的变化可被一致地应用于其它表示，藉此来反映对该网络的一些或所有修改。

在一些实现中，HLND可应用于任意的图结构(例如，具有任意复杂架构的神经网络)。

具体实施方式

现在提供本公开的装置和方法的各个实现的详细描述。尽管本公开的某些方面可以在用于设计神经网络架构的高级网络描述格式的上下文中最好地理解，但本公开并不被如此限定并且本公开的实现可被用于实现为以硬件无关方式来高效表示其它系统(例如，生物或金融)而最优化的指令集。

本公开的实现可以例如部署在神经元形态计算机系统的硬件和/或软件实现中。在一些实现中，机器人系统可包括实施在专用集成电路中的处理器，该处理器可被适配成或配置成在嵌入式应用(诸如假体设备)中使用。

图1解说了可用于本公开的神经元网络配置的一个实现。图1中示出的网络100包括不同类型的节点(图1中的节点类型102、104)。如以下详细描述的，HLND框架允许用户动态地选择网络节点的任意子集(图1中的子集106、108)并经由连接(图1中的连接110)互连选定子集的节点。网络100的一些节点(例如，节点104_1)可以接收来自一个以上节点(例如，图1中的节点102_1、102_2)的输入。反之，一些节点(诸如，节点102_1、102_2)可以向若干节点递送输出，如图1中所解说的。

HLND框架设计综览

根据一个或多个实现，示例性HLND框架可被配置成促成神经网络(诸如图1的网络100)的设计。一些实现可以提供描述具有任意复杂性的神经元网络的能力。一些实现可以促成对网络生成过程使用预定义节点和/或预定义连接类型。即，不同节点类型的多个实例可以被生成、布局、和/或使用不同连接类型的多个实例来连接。一些实现可以提供对新节点类型的灵活定义，从而新节点类型可包括元素式网络描述(END)单元类的实现和/或网络对象(例如，节点布局、连通性集、和/或这些的组合)的实现。新定义的节点类型可在网络生成过程中使用。END框架在以上纳入的题为“ELEMENTARY NETWORKDESCRIPTION FOR NEUROMORPHIC SYSTEMS(用于神经元形态系统的元素式网络描述)”的美国专利申请S/N.13,239,123中描述。一些实现可以提供对连接类型的灵活定义。连接类型可包括END结类、END突触类、和/或其它类的实现。在一个实现中，新定义的连接类型可在网络生成过程中使用。一些实现可促成对一些或所有网络元素(包括节点、连接、节点集合、和/或其它网络元素)使用通用标记(或标签)。在一些实现中，标记可被用于标识节点群和/或连接群。标记可被用于动态地选择网络的各部分。一个或多个布尔运算，诸如AND、OR、NOT、和/或其它布尔运算可被应用于标记。一些实现可以提供使用图形用户界面(GUI)来实现HLND网络的能力。个体描述构造可以对应于GUI中的用户动作。在一些实现中，中等复杂性的模型可以使用HLND GUI界面来建成而无需使用键盘。在一些实现中，HLND GUI可以使用触摸屏、光笔输入设备、和/或其它输入技术来操作。一些实现可以促成用于定义网络解剖结构的HLND语句的呈现。定义网络解剖结构可包括以用户可阅读语言(自然英语)来对节点和/或连接进行布局以便于非计算机专业网络设计者理解。一些实现可以提供使用HLND来生成END实例的能力。

网络定义方法

定义神经网络可包括定义要创建多少和/或什么类型的节点、如何布局这些节点、如何连接这些节点实例(例如，图1的网络布局)、和/或其它操作。在一些实现中，HLND定义方法包括(1)定义新节点类型和/或用于这些新节点类型的连接类型，(2)定义网络内的节点布局(例如，要创建多少和/或什么类型的节点，以及如何在正被创建的网络内安排这些节点)，(3)定义这些节点如何彼此连接，和/或其它操作。在神经网络构造期间，以上步骤1-3可个体地和/或顺序地重复多次。在一些实现中，以上步骤1可被跳过并且可取而代之在定义网络时使用预定义类(其定义期望节点类型)。

在一些实现中，专用软件包可被配置成(i)处理定义网络的HLND语句和/或(ii)实例化网络节点和连接。这一处理和/或实例化可能经受一个或多个约束，包括(i)仅所定义的节点类型和所定义的连接类型可被实例化并在HLND网络定义过程中使用，(ii)仅现有节点实例之间的连接可被实例化，和/或其它约束。换句话说，根据一个或多个实现，在定义连接的HLND过程中仅可使用与所定义的节点实例相对应的连接。在一些实现中，专用软件包可包括END引擎，其可被配置成生成网络模型的END实例，如在以上纳入的共同拥有的题为“ELEMENTARY NETWORK DESCRIPTION FORNEUROMORPHIC SYSTEMS(用于神经元形态系统的元素式网络描述)”的美国专利申请S/N.13/239,123中所描述的。

定义节点类型

节点类型的定义可以提供节点的实现指令，这些实现指令可被配置成指令网络处理装置根据节点类型在节点实例化期间执行特定步骤。在一些实现中，节点定义可进一步指定节点类型的内部实现(例如，指定神经元类型的动态)。在一个或多个实现中，节点定义可包括该节点的输入端口和/或输出端口的定义。

在一些实现中，节点类型可被定义为简单节点，其中节点定义指定该节点的“内部构造”。节点的内部构造可包括END单元(即，神经元)的实现和/或神经元房室(compartment)的END实现。

在一些实现中，节点类型可被定义为复杂网络对象，其可以提供关于如何实例化预定义节点类型的指令、关于如何连接各节点的指令、和/或其它指令。关于如何连接各节点的指令可包括对具有任意复杂性的网络的HLND描述，被配置成指定节点和/或连接实例生成的细节的算法、和/或其它指令。本领域技术人员将领会，术语“网络对象”可被用于描述可使用HLND框架来实现的任何网络。

在HLND框架描述内，个体节点类型可包括节点内连接并且可以定义用于传入连接和/或传出连接的一个或多个接口。

作为END单元的节点类型

在一些实现中，END单元类可以使用节点实现细节(例如，更新规则、事件规则)来生成。与END单元类相关的附加细节参见例如美国专利申请S/N.13,239,123。

作为网络对象的节点类型

在一些实现中，网络对象的定义可以类似于网络的定义的方式来配置，其中主要区别在于网络对象是可重用的。即，可以实例化一网络对象的多个实例。网络对象的一些或所有元素(例如，单元、标记、和/或其它元素)可以是有范围的，即，它们可能具有与特定范围相关联的有限生命期。在一些实现中，网络对象可被配置成提供可被用于将该网络对象与其它节点相连接的I/O接口。网络对象可以类似于模型中的构件块(参见例如http://www.mathworks.com/products/simulink/index/html)、计算机辅助设计(CAD)软件中的p-cell(p细胞)、C++语言代码中的函数/类、和/或其它编程元素。

在一些实现中，网络对象可被允许使用在外部(即，在这一节点类型的范围外)定义的预定义节点。因此，父节点(即，网络对象)和(诸)子节点(即，在网络对象中使用的节点类型)可能不包括相同类型的节点。换句话说，根据一些实现，‘X’类型节点的定义可以不实例化‘X’类型节点。

现在参照图2，网络对象的一个示例性实现被解说和详细描述。网络对象200可包括以下一者或多者：网络定义、对象输入/输出(I/O)接口的规范、和/或其它信息。

网络定义可以指定对象实例生成的一个或多个步骤。网络定义可经由标准HLND网络定义来实现。标准HLND网络定义可包括使用预定义分布函数来指定每一预定义节点的实例数量和/或其空间安排的节点实例化和/或布局。标准HLND网络定义可包括连通性描述，其可定义节点之间的连通性。在一些实现中，连通性描述可以定义和/或使用节点的空间突起。作为非限定性示例，定义节点的空间突起可包括定义节点的轴突和/或树突突起(例如，(i)树突幅员、(ii)突触结的分布、(iii)轴突末端的分布)，定义节点(例如，模型神经元)的轴突如何连接至另一节点(例如，模型神经元)的树突、和/或定义与节点的空间突起相关联的其它信息。

藉由非限定性示例，标准HLND网络定义可被用于(i)定义预定义节点的特定布局；(ii)定义多房室神经元(例如，与预定义END结相连接的预定义END单元的集合)；(iii)定义包括多个神经元的任意复杂的网络；和/或定义与标准HLND网络定义相关联的其它信息。在一些实现中，网络可包括突触和/或结。

在一些实现中，网络的定义可包括使用算法的实例生成，该算法可被配置成使用以上对象定义来描述网络对象实例生成的一个或多个步骤。藉由非限定性示例，该算法可包括以下一者或多者：(i)使用预定义节点类型和/或定义此类节点类型的实例生成过程的算法；(ii)使用预定义节点类型和/或连接类型和/或定义此类节点和/或连接类型的实例生成过程的任意算法；(iii)定义树突树的算法；和/或其它算法。

以上示例性算法可以利用实现神经房室的多个预定义END单元类型和/或被设计成以定义各房室的布局和其间的连接的算法将此类房室相连接的预定义END结类型。(参见例如Cuntz H.、Forstner,F.、Borst.A和Hausser,M.的(2010)“One Rule to Grow Them All:A General Theory of NeuronalBranching and Its Practical Application.PLoS Computational Biology,6(8)(用一个规则来使之全体生长：神经元分支化的一般理论及其实践应用，PLoS计算生物学，6(8))”，其全部内容通过引用纳入于此)。I/O接口可以指定为网络对象实现的输入/输出连接。

连接类型的定义

根据一个或多个实现，在HLND内，连接类型的定义可以提供必要的实现细节(例如，事件前规则、事件后规则、更新规则、和/或其它细节)以生成包括(i)END突触或(ii)END结中的一者或两者的连接。

实例化节点

在一些实现中，HLND可以定义管控节点实例化的规则。HLND节点实例化指令可随后被提供给解读这些指令并实例化适当节点的软件包(例如，END内核)。根据一些实现，在实例化期间，一些或所有节点类型可被等同对待，不管它们是简单节点(例如，神经元的END实现)还是网络对象(例如，整体网络描述)。在一些实现中，可能需要以下信息来实例化和布局节点：(i)要实例化的节点类型，(ii)要实例化的节点类型的实例数量，和/或其它信息。

以基本形式，HLND实例化语句可以使用与给定节点类型相对应的默认定义来创建该节点类型的n个实例。在实例化期间，可以使用附加参数以尤其(i)设置用于初始化被实例化的节点类型的参数，(ii)设置被实例化的节点如何在空间中布局(例如，如何指派位置标记)，(iii)将附加标记添加至新的节点实例，和/或执行与HLND实例化相关联的其它操作。在HLND内，操作范围内可用的所定义的节点类型可被无限制地实例化。

在一些实现中，位置坐标(即，空间标记)可在节点实例化期间被指派给所生成的节点实例。为了实现这一功能性，HLND框架可以支持使用向每一个被实例化的节点指派空间标记的预定义分布函数。此种分布函数可被配置成从给定的概率密度函数采样n个点。藉由非限定性示例，HLND语句：

Uniform(n,boundary parameters)

可以描述在由边界参数(boundary parameters)自变量所定义的空间范围内采样均匀(Uniform)分布的n个点。类似地，HLND语句：

Normal(n,sigma,boundary parameters)

可以描述在由边界参数(boundary parameters)所指定的空间范围内采样n个正态(Normal)分布点。

除了个体生成的节点可以具有的唯一性id标记之外，可在实例化过程期间任选地指派额外标记并且这些额外标记可被用于标识新实例化节点的集合。在一些实现中，特殊的保留标记(例如，“IN”(输入)、“OUT”(输出)、或其它特殊的保留标记)可被用于指定所生成的单元是网络的输入或输出接口，因此使得这些节点是从外部可访问的(可读和/或可写)。示例(example)性HLND调用在以下列表1中示出：

a)创建100个‘exc’节点类型(假定‘exc’END类/网络对象存在)

example1_exc_neurons＝(100,‘exc’)

b)创建200个‘exc’节点类型并使用给定pdf(概率分布函数)来分布它们：

example2_exc_neurons＝(200,‘exc’,_exc_parameters_,pdf)

c)创建实现视网膜(retina)的网络对象类型的1个节点(假定先前已实现‘retina’网络对象类型)：

example3_retina＝(1,‘retina’,_retina_parameters_)

列表1。

形态/扩展

在一些实现中，在连接实例化期间可以使用形态/扩展。以上关于图2描述的形态定义指定了被实例化的节点可如何突起和/或扩展到网络空间中。即，形态可以定义空间延及范围，其中被实例化的节点被允许(i)“接收”来自该空间扩展的传入连接，和/或(ii)向该空间扩展“发送”传出连接。注意，根据一些实现，节点扩展的添加可以不更改该节点的大小和/或位置。取而代之，各扩展可以使节点能在节点互连的实例化期间“搜索”其它节点。换句话说，扩展可以提供节点的附加“视图”，该视图可在连接节点的过程期间使用。

在一些实现中，可以仅在各节点交迭的情况下才允许使用空间标记来连接节点。各节点可默认具有零扩展。在一些实现中，仅共处节点可被连接。为了扩展节点连通性，可以定义非零节点输入(树突)和节点输出(轴突)突起。在一些实现中，这些突起可在连接任何两个节点时使用。例如，一个节点的输出突起可被连接至另一节点的输入突起。

为了创建扩展，根据一个或多个实现，可能要求以下信息中的一些或所有：(1)用于标识为其创建扩展的各节点的源标记；(2)被用于标识将创建的扩展的扩展标记；和/或(3)定义I/O点分布以定义在其中节点能接收传入连接的空间/扩展，并定义在其中节点能具有传出连接的空间。

对于传入扩展，可以指定接收末端的分布。接收末端的分布可类似于神经元情形中的树突(dendrite)幅员、和/或突触结分布。对于传出扩展，可以指定突起幅员。突起幅员可以类比于轴突(axon)末端。

对于接收末端和突起幅员的分布，HLND可以支持预定义函数(例如，有界高斯和/或均匀分布)。一般来说，可以使用任意密度函数。

示例性HLND调用在以下列表2中示出：

example1_exc_neurons_axon＝(‘example1_exc_neurons’,pdf1)

example2_exc_neurons_dendrite＝(‘example2_exc_neurons’,pdf2)

列表2。

在另一办法中，连接被实例化而不使用形态/扩展。

连接节点

HLND连接语句可包括被配置成实例化从一个节点集到另一节点集的(给定连接类型的)连接的指令。在一些实现中，可能要求以下信息中的一些或所有以便实现这些节点至节点连接：(1)“来自子集”、(2)“去往子集”、和/或(3)“连接类型”。“来自子集”可包括由唯一性地标识源节点/扩展(例如，连接所将源自的节点/扩展)的标记所选择的节点子集。“去往子集”可包括由唯一性地标识目的地节点/扩展(例如，连接所将终结于的节点/扩展)的标记所选择的节点子集。连接类型可包括用于将<来自子集>节点/扩展连接至<去往子集>节点/扩展的连接类型。

在一些实现中，HLND连接语句可以用从所有可用的<来自标记>节点到所有可用的<去往标记>节点的给定连接类型来指导连接实例化。根据一些实现，连接参数可被用于滤除连接。即，过滤器约束可应用于一些或所有可能的<来自标记>至<去往标记>连接。因此，可能的<来自标记>至<去往标记>连接的子集可被实例化，这可允许从<来自标记>至<去往标记>的任意连接映射的实例化。在一些实现中，连接可被表达为函数调用。在一些实现中，连接可使用表格来表达。在一些实现中，连接过滤器可被配置成生成所有至所有连接，其中所有的<来自标记>被连接至所有的<去往标记>。

顺便提及，可在各种实现中使用两种注记格式<来自标记>和<来自子集>，因为这两种注记均可以使HLND为子集生成连接。例如，注记<‘来自标记1’AND‘来自标记2’>可以描述具有标记‘来自标记1’和‘来自标记2’两者的节点的集合(例如，集合1)。相应地，可代替地使用注记：<‘集合1’>而产生相同结果。

藉由非限定性示例，可以采用以下连接语句：

exc2exc＝(pre＝'example1_exc_neurons_axon',

post＝'example2_exc_neurons_dendrite',100 connections/cell,

SynType＝'GLU',_other_parameters_)。

在一些实现中，HLND连接语句可被配置成实现参数化的连接建立，从而各参数可传递给连接类型以设置连接实例中的连接变量。在一些实现中，连接参数可被用于设置突触节点连接的权重。在一些实现中，节点信息(例如，“来自节点”和“去往节点”的位置)可被用于基于节点之间的距离来设立连接权重。

藉由非限定性示例，可以采用以下连接语句中的一个或多个：(1)将每一<来自节点>节点连接至N个<去往节点>节点；(2)将N个<来自节点>节点连接至每一<去往节点>节点；和/或(3)从所有可能连接中随机采样N个。

在一些实现中，节点可包括位置标记和/或可以具有零默认扩展。此类节点可以连接至共处节点。用空间标记来连接节点可能要求交迭，从而交迭节点可被连接。

现在参照图3A，示出并详细描述了HLND框架节点互连的示例性实现。图3A的网络300可包括A节点群302和B节点群304。为了清楚，网络300可使用一维配置来配置，从而具有匹配的X坐标306(即，图3A中节点索引i＝1:7)的各节点被允许经由连接308来连接。具体地，当i＝j时(诸如举例而言，分别为图3A中的节点312、314)，可以允许来自节点群302的节点a_i连接至节点群304的相应节点b_j。由实线308解说了若干可能连接。

在一些实现中，诸如在图3B-3C中所解说的，节点扩展可被分别添加至各节点群的节点，以便实现复杂连接并实现更为灵活的连接映射。节点扩展可被尤其用于将源节点(例如，图3B中的群322的节点A)的空间坐标映射到接收节点(例如，图3B中的节点324)。这些扩展可被用于定义潜在连接的概率密度函数，诸如在图3C中解说的示例性实现中那样。

图3B解说了包括节点扩展的节点至节点连接配置的示例性实现。图3B的网络320可包括A节点a_1:a_7的群322和单个B节点324。图3B的网络320可使用单个维度来配置，从而具有匹配的X坐标306的各节点可以形成连接。图3B的B节点324可包括具有维度332的均匀树突扩展330。A节点群322的个体节点(诸如节点322_1)可包括具有维度328的均匀轴突扩展326。轴突维度328可小于树突维度332。术语“均匀扩展”可被用于描述用于实现交迭扩展(这一示例中的轴突或树突)的连接的均匀概率分布。即，根据一些实现，节点连接可被以均等的可能性提供其扩展交迭。对于一维扩展(例如，图3B中的扩展330)，这可对应于沿扩展330的延及范围332的均匀连接概率。对于多维扩展，均匀扩展可对应于在所有维度中的均匀连接概率。

当轴突326_i与树突330的空间维度332交迭时，图3B中解说的网络配置可以允许A群322的节点a_i与b_1节点324之间的连接。如图3B中所解说的，节点a_3、a_4、a_5可经由这些连接来被连接至节点b_1，如图3B中的实箭头308所描绘的。其它A节点之间的不活跃(例如，不被允许的)连接318在图3B中由虚箭头描绘。标记<‘轴突’>和<‘树突’>可指代节点的另一‘视图’。

如图3B中所解说的，可以构造以下扩展：(i)至图3B中的B节点330的均匀圆形扩展(表示为树突)；(ii)至图3B中的所有A节点的均匀圆形扩展(表示为轴突)；和/或(iii)将<A轴突>连接至<B树突>。A至B节点连接是可能的并且可被实例化，因为发送和接收扩展两者可以是均匀的。在这一示例中，连接语句正在查找扩展交迭——即，节点<A>的<轴突>扩展是否与节点<B>的<树突>扩展交迭。

在HLND框架内，各节点可包括不同的视图，诸如举例而言，轴突或树突。节点标记‘轴突’或‘树突’可在HLND中被用于指代同一节点。轴突/树突可以具有不同的空间性质。

图3C解说了包括非均匀节点扩展的节点至节点连接配置的示例性实现。图3C中描绘的网络338可包括A节点的群322和B节点344。这些A节点中的个体节点可包括均匀扩展326。B节点344可包括非均匀扩展340。术语非均匀扩展可被用于描述跨扩展的至少一个维度具有非均匀连接概率分布的节点扩展(轴突或树突)。对于一维扩展(例如，图3C中的扩展340)，这对应于沿扩展延及范围342的非均匀扩展连接概率分布。在一些实现中，扩展连通性参数P可包括连接似然性，其可由作为扩展延及范围342的函数的概率函数来表征。

非均匀扩展340的连通性剖视(参见图3C)可使用高斯分布和/或其它分布的形状来配置。扩展340可以节点344为中心。扩展340可由特定方差σ²和半径348来表征。

经由非均匀扩展的节点连接在图3C中解说。当轴突326_i与非均匀树突340的空间维度342交迭时，图3C中解说的网络配置可以允许A群322的节点a_i与b节点344之间的连接。网络338中的可能连接包括a_3、a_4、…、a_10轴突至b树突，因为a_1轴突、a_2轴突、和a_11轴突不与树突340空间扩展342交迭。

非均匀扩展(例如，图3C中的扩展340)可以使连接选择偏向与非均匀树突的最高概率区域交迭的轴突。虽然扩展维度交迭可被用于标识所有可能的连接，但对可能的连接的采样可以遵循扩展的连通性剖视(概率)。当选择可能的连接的子集时，可能需要考虑该扩展的(描述连接似然性的)连通性剖视(形状)。藉由非限定性示例，当将单个任意<A轴突>326连接至<b树突>340时(参见图3C)，最有可能的结果可能是节点a_6与节点344之间的连接，而非节点a_1、a_10与节点344之间的连接。

在一些实现中，用于使用非均匀扩展来连接节点群体的HLND示例性操作序列可以是：(1)将以节点为中心的具有固定半径r1的高斯扩展添加至诸B节点并将这些扩展标记为<树突>；(2)将具有固定半径r₂的均匀扩展添加至诸A节点并将这些扩展标记为<轴突>；以及(3)将N个随机<A轴突>连接至<B树突>。可能的连接可以是在<A>节点的<轴突>扩展与<B>节点的<树突>扩展交迭之处。被实例化的连接可对应于最高连通性。在一些实现中，最高连通性可基于高斯和均匀函数的乘积来确定。

用于网络对象的I/O

在HLND框架的一些实现中，网络对象可包括一个或多个成员以及输入/输出(I/O)接口。该I/O接口可指定如何与网络的其它元素对接(例如，建立连接)。在一些实现中，网络对象的成员可包括节点。在一些实现中，网络对象的成员可包括节点和连接。I/O接口可以定义可如何从网络对象的范围的外部访问对象成员。在定义期间，网络对象的个体成员(及其值)可被声明为公共或私有。私有成员可能对于该网络对象外的外部网络元素是不可见的(即，不可直接访问)。私有对象成员可经由为该成员定义的I/O接口来访问。即，网络对象的私有成员可能从该网络对象的范围外部不可见。在这一情形中，可能要求I/O接口来实现连接。

在一些实现中，网络对象可被定义为‘开放’的。定义为开放的网络对象的成员可以是公共的并且从该网络对象的范围外部可见。这可减轻公布I/O接口的要求。

网络对象的公共成员可以是由外部元素可见和/或可访问以用于输入和/输出连接。在一些实现中，网络对象的成员可默认是有范围的。即，网络对象内的一些或所有变量的范围可被限于在该网络对象内。同一网络对象类型的多个实例的成员在这些成员使用相同标记时不会产生干扰。

在一些实现中，网络对象可被定义为‘宏’。定义为宏的网络对象可以不被作为有范围的对象来对待。此种宏定义可以允许在宏对象内定义的一些或所有变量由外部元素可访问和/或可见。

藉由非限定性示例，节点_a可以是网络对象NO1的公共成员，节点_b(其不是NO1的成员)可以直接连接至节点_a，和/或接收来自节点_b的连接。可通过使用标记<NO2>和<节点_a>、和/或用NO1.节点_a有范围注记来访问NO1中的成员节点_a。根据一些实现，作为网络对象NO2的私有成员的节点_c可能从外部不可见和/或不可访问，除非为NO2的节点_c成员定义了I/O接口。外部节点(其不是NO2的成员)不可直接连接至节点_a成员和/或直接接收来自节点_a成员的连接。换句话说，可使用标记和/或其它公共可用信息来访问网络对象的公共成员。

结合图4示出并描述了解说公共多房室神经元(MCN)的HLND网络对象的示例性实现。MCN神经元400可包括一个或多个公共节点，这一个或多个公共节点可包括树突房室404和胞体房室402。术语公共可指代网络对象(例如，房室402、404)的从其定义的范围外部(例如，MCN 400外部)可见的成员。个体房室404可被指派两个标记，这两个标记可包括DENDRITE(树突)、COMP(房室)、和/或其它标记。房室402可被指派三个标记，这三个标记可包括DENDRITE、COMP、SOMA(胞体)、和/或其它标记。房室402和个体房室404可经由结连接406来连接。

藉由非限定性示例以解说根据一些实现的公共网络元素的功能性，可以考虑公共MCN神经元400的两个实例。一个实例可被标记为‘神经元a’，而另一实例可被标记为‘神经元b’。注记<神经元_a AND胞体>集合可指代神经元_a实例中的具有胞体标记的MCN成员402。<神经元_b AND胞体>集合可指代神经元_b实例中的具有胞体标记的MCN成员402。因为MCN<神经元_a>的一些或所有成员402、404可以是公共的，所以它们对于外部实体(例如，MCN<神经元_b>)可以是可见的，这可使得能够实现<神经元_a AND胞体>至<神经元_b AND树突AND房室>的直接连接。

在一些实现中，从<神经元_a AND胞体>至<神经元_b AND胞体>的连接可使用给定的连接类型来实例化。

如将由本领域技术人员领会的，以上注记是示例性的并且可以使用各种其它注记以便使用节点成员的标记来标识、选择、和/或访问节点成员。

图5解说了根据一个或多个实现的公共神经元A和B(在图5中分别由指示符500和520来标示)之间的连接实例化。节点A的个体成员504和节点B的个体成员b 524可以是公共的。个体‘a’成员504可被连接至个体‘b’成员524。图5中解说了一示例，其中外突起508可与节点524的多个内突起526交迭，从而可在单个a节点504与一个或多个b节点524之间建立连接508。

图6中给出了与图5中解说的实现相对应的示例性伪码。图6中的语句600和620可被配置成分别生成图5的节点实例504和524。图6中的语句606和626可被配置成分别定义图5的外突起506和/或内突起526。最后的语句610可被配置成定义连接508。

图7解说了包括私有多房室神经元的网络对象的示例性实现。私有MCN神经元700可包括一个或多个私有房室704和/或私有房室702。术语‘私有’可指代在相应网络对象的定义范围的外部(例如，MCN 700的外部)不可见的网络成员(例如，房室702和704)。个体房室704可被指派两个标记，这两个标记可包括DENDRITE、COMP、和/或其它标记。房室702可被指派三个标记，这三个标记可包括DENDRITE、COMP、SOMA(胞体)、和/或其它标记。

藉由非限定性解说，可以考虑私有MCN 700类型的两个实例。一个实例可被标记为‘神经元_a’，而另一实例可被标记为‘神经元_b’。因为MCN 700类型被定义为私有，所以MCN 700成员(例如，<神经元_a AND树突&房室>、<神经元_a AND胞体>、<神经元_b&树突&房室>、<神经元_b&胞体>、<胞体>集合)可以是从MCN 700的外部不可见的。根据一些实现，对于图7中解说的节点配置类型，可能不允许直接将<神经元_a AND胞体>连接至<神经元_b AND树突AND房室>。为了实现神经元外部连通性，MCN 700定义可包括输入(IN)端口714和716、以及输出(OUT)718端口，其可被用于指定针对该MCN节点类型的I/O接口。MCN 700的输入接口可包括至MCN 700的私有成员的直接内部连接。至MCN 700的私有成员的直接内部连接可包括从输入接口IN1714到具有标记“树突”和“房室”的私有成员704的连接726、728和730。至MCN 700的私有成员的直接内部连接可包括从输入接口IN2716到具有标记“胞体”的私有成员702的连接720。链路722可将私有成员702连接至输出(OUT)接口718，这可允许节点702被用于传出连接和/或用于传入连接。神经元_a.OUT可被配置成链接/连接至神经元_b.IN1。神经元_b.OUT可被配置成链接/连接至神经元_a.IN2。

图8解说了私有网络对象A和B(分别由图8A中的指示符800和820标示)之间的示例性连接实例化。节点A的成员804中的个体成员和/或节点B的成员824中的个体成员可以是私有的，并且因此可能不可由外部实例访问。即，根据各个实现，‘a’节点成员804可以是不可由‘b’节点成员824访问的，反之亦然。为了使节点实例800能生成至节点820的外部连接，可以要求用于私有节点成员的I/O接口。在一些实现中，I/O接口可包括输入/输出端口(例如，I/O端口714、716和718，以上关于图7描述的)。私有节点实例(例如，实例800)可包括大量(例如，数百万)的其它私有成员。私有节点实例可以为那些成员提供将被用于传出连接的传出接口812。

反之，根据一些实现，虽然可保持节点实例820的成员824中的个体成员为私有，但输入接口822可被用于指定节点成员824如何连接至输入端口822。尽管图8A的实现中解说了单个端口，但这并不旨在构成限定，因为可在一些实现中使用多个被唯一性地标记的输入/输出端口。

因为节点实例800的输出接口812和节点实例820的输入接口822可暴露于外部网络元素和/或对外部网络元素可见，所以可以通过使用输入和输出接口812和822以类似于以上关于图5、图7描述的连接建立的方式在网络对象的节点实例800和820之间建立链路/连接810。

图8B给出了与图8A中解说的连接建立实现相对应的示例性伪码。图8B中的语句830可以创建图8A中的节点实例804并且可以暴露输出端口812。图8B中的语句850可以创建图8A中的节点实例824。图8B中的语句856和852可以分别定义图8A的‘b’节点824的内突起826和/或图8A的输入接口822。语句858可以定义该输入接口与‘b’成员之间的连接。

在一些实现中，第三网络对象860可以分别创建类型A 800和B 820的实例inst_a和inst_b，和/或可以使用节点实例800的a_输出端口和节点实例820的输入端口将inst_a实例连接至inst_b实例。图8B中示出的示例性HLND定义步骤可包括(1)创建A的实例(inst_a)，(2)创建B的实例(inst_b)，和/或将inst_a连接和/或链接到inst_b。

因为节点实例A和B的成员可能是私有的，所以对象C可能无法将实例A的成员直接连接至实例B的成员。取而代之，对象C可以使用暴露的端口inst_a.a_out至inst_b.in。在连接中，声明868可以使用等号注记来标示inst_b.in被赋给(例如，同于)inst_a.a_out。在一些实现中，HLND编译器可以使用定义868和私有节点B成员的定义通过将inst_b.in与节点实例A 800的对应(诸)成员链接(即，间接建立(A的)inst_a与(B的)inst_b之间的连接)来解析虚拟b.in端口与节点B 820的实际成员之间的连接。如图8A中所解说的，节点类型800和820可以指定要实行节点至节点连接所可能要求的突起扩展和/或突触类型(SynType)/连接类型。

标记

根据一些实现，网络的个体元素(即，节点、扩展、连接、I/O端口)可被指派至少一个唯一性标记以促成HLND操作和歧义性消除。各标记可被用于标识和/或引述相应的网络元素(例如，该网络的在指定区域内的节点子集)。

在一些实现中，标记可被用于形成节点的动态群聚，从而这些动态创建的节点群可被彼此连接。即，节点群标记可被用于标识节点子集和/或创建网络内的新连接，如以下结合图9详细描述的。这些附加标记可以不是创建网络元素的新实例，而是可以将标记添加至现有实例，从而附加标记被用于标识经标记实例。

图9解说了使用附加标记来标识经标记实例的示例性实现。网络节点群体900可包括一个或多个节点902(标记为‘我的节点’)、一个或多个节点904(标记为‘我的节点’和‘子集’)、和/或其它节点。图9的节点群体900中的暗三角形可标示标记为‘我的节点’的节点902，而黑白三角形可对应于标记为‘我的节点’和‘子集’的节点子集904。

使用标记‘我的节点’，就可以选择节点集合910。节点集合910可包括节点902和/或904中的诸个体节点(参见例如图9)。节点集合920可以表示标记为<‘我的节点’NOT‘子集’>的节点。节点集合920可包括节点902中的诸个体节点。节点集合930可以表示标记为‘子集’的节点。节点集合930可包括节点904中的诸个体节点(参见，例如图9)。

在一些实现中，HLND框架可以使用两种类型的标记，其可包括串标记、数值标记、和/或其它标记。在一些实现中，各节点可包括任意的由用户定义的标记。数值标记可包括数字标识符(ID)标记、空间标记、和/或其它标记。

在实例化节点之际，被实例化的节点可以具有串标记(节点类型)和唯一性数值标记(唯一性数值标识符)。在一些实现中，位置标记可在实例化过程期间被指派。

对标记的运算

如图9B中所示，各标记可被用于标识网络的子集。为了实现这一功能性，可以对标记使用一个或多个布尔运算。在一些实现中，数学逻辑运算可与数值标记联用。<…>注记可以标识网络的子集，其中由尖括号<>封装的串可以定义配置成标识和/或选择子集的操作。藉由非限定性解说，<‘我的标记’>可以从网络中选择具有标记‘我的标记’的诸个体节点；<‘我的标记1’AND‘我的标记2’>可以从网络中选择具有标记‘我的标记1’和‘我的标记2’串标记两者的诸个体节点；<‘我的标记1’OR‘我的标记2’>可以从网络中选择具有标记‘我的标记1’或‘我的标记2’串标记的诸个体节点；<‘我的标记1’NOT‘我的标记2’>可以从网络中选择具有串标记‘我的标记1’但不具有串标记‘我的标记2’的诸个体节点；以及<‘我的标记1’AND MyMathFunction(空间标记)<数值1>可以从网络中选择具有串标记‘我的标记1’且由MyMathFunction(我的数学函数，在被应用该节点的空间坐标时)提供的输出小于数值1的诸个体节点。注意，根据各个实现，这一示例假定存在空间标记，这不是强制的。

标记继承

在一些实现中，HLND框架可包括阶层式标记继承。在一些实现中，在网络对象内实例化的个体成员可以继承其父亲的串标记。例如，网络对象的具有标记‘父标记1’和‘父标记2’的诸个体成员除了例如在成员实例化期间指派的因成员而异的标记外还可包括标记‘父标记1’和‘父标记2’。

在一些实现中，成员空间标记数据可指代该成员的局部坐标(参照由网络对象定义的空间)。在一些实现中，全局坐标(参照整个网络的空间)可以从网络对象和/或成员的嵌套结构中推断出来。

图10解说了空间标记继承的示例性实现。网络对象B(未示出)可以实例化类型C的节点的单个实例(例如，在位置(1,1)处的节点_c，其在图10中被标示为1002)。网络对象A(未示出)可以实例化节点类型B的两个实例(例如，在位置(1,1)处的节点_b_1和在位置(1,2)处的节点_b_2，其在图10中分别被标示为1004和1006)。节点_c的坐标可参照节点_b_1的范围。节点_b_2的坐标可被设为(1,1)。节点_b_1和节点_b_2的参照节点_a的范围的坐标可被分别设为(1,1)和(1,2)。节点_b_1中的节点_c的参照节点_a的范围的坐标可被确定为(1,1)+(1,1)＝(2,2)。节点_b_2中的节点_c的参照节点_a的范围的坐标可被确定为(1,2)+(1,1)＝(2,3)。注意，注记节点_c、节点_b_1、节点_b_2和节点_a可被用于分别标识类型C、B和A的被实例化的对象。

根据一个或多个实现，HLND标记性质和/或特性可被概述为如下：标记类型可包括串标记和数值标记；数值标记可包括数值标识符；布尔运算可被用于标记；对数值标记可允许数学函数；可指派任选的空间标记和串标记；个体节点实例可包括唯一性数值标识符标记；串标记继承可以是阶层式的；空间标记可以指代局部坐标；全局标记坐标可从节点的嵌套结构中推断出；和/或其它性质和/或特性。

标记实现

在一些实现中，标记的HLND框架实现可被配置成要求以下功能性：(i)至标记-数据生成器和数据处理机的接口；和(ii)嵌套对象的实现以便使得能从任何数量的现有网络对象创建复杂网络对象。

在一些实现中，标记数据处理机可以使用数据库(诸如举例而言，MySQL)来实现。网络对象的实例可以使用任意串标记来生成。在一些实现中，网络对象可以使用位置标记以及串标记来生成。标记数据可被置于数据库中。可以生成附加网络数据(例如，连接实例，诸如结、突触等)。连接的实例化可以取决于位置标记和/或查询结果。新数据可被存储在数据库中。

标记实现配置可以使得能将网络软件应用划分为两个部分，其可包括数据生成块、数据存储块、和/或其它部分。数据生成块(例如，用C++实现)可被配置成基于其自身的‘智能’和/或通过与数据库(例如，MySQL)交互来生成数据。在一些实现中，数据生成器功能性可被嵌入到数据库服务器内。数据生成器可以使用由触发来激活的服务器侧规程来实现。此类触发可包括存储在数据库服务器上的插入并连接调用/触发规程。

在一些实现中，实例化END突触/结可能要求诸如以下一者或多者之类的信息：突触前单元1的类和ID、突触后单元2的类和id、突触前单元1和突触后单元2的空间位置、以及突触前单元1.out和突触后单元2.in的空间突起、和/或其它信息。

可以生成突触/结实例。在一些实现中，附加的外部参数可被用于END突触/结的实例化。外部参数的示例可包括突触权重、突触延迟、和/或其它外部参数。节点至节点连接中的突触权重和/或延迟的使用和功能性在于2011年6月2日提交的共同拥有的题为“APPARATUS AND METHODS FORTEMPORALLY PROXIMATE OBJECT RECOGNITION(用于时间上接近的对象的识别的装置和方法)”的美国专利申请No.13/152,105和/或于2011年6月2日提交的共同拥有的题为“APPARATUS AND METHODS FORPULSE-CODE INVARIANT OBJECT RECOGNITION(用于脉码不变对象识别的装置和方法)”的美国专利申请No.13/215,575中进一步详细描述，上述每一者的全部内容通过援引纳入于此。

为了连接使用不同空间坐标的不同网络对象，可以公布用于每一网络对象的坐标系。即，坐标系配置可以对某个范围内的个体节点可用。

在HLND框架内，网络对象之间的连接可按一种或多种方式来建立。在一些实现中，该连接可基于轴突末端分布和突触结分布之间的交迭来建立。在一些实现中，总体连接映射可以使用轴突末端分布和突触结分布的联合概率分布函数(PDF)来获得。联合PDF可被用于建立所需的连接(突触)。在一些实现中，HLND框架可被配置成分布潜在连接点中的个体连接点。连接点可受制于一个或多个特定条件，诸如空间坐标和/或其它条件。HLND连接算法可被配置成选择这些连接点的所有(或子集)。HLND连接算法可被配置成实例化对应的连接。在一些实现中，HLND可被配置成生成任意的由用户定义的连接集。根据一些实现，HLND可被配置成生成所有至所有连接。

类SQL格式

在一些实现中，HLND可以完全使用SQL来实现。根据一些实现，此种SQL实现可以使用MySQL数据库和所存储的函数/规程来实行。HLND语句可根据英语语言语法来构造。

标记示例

如上所述，HLND内定义的个体网络元素(无论它是节点、单元、突触、或结、或仅是空的占位符)可包括标记。HLND网络描述的这一特性可以允许经标记的元素尤其作为群被寻址和操控。在一些实现中，空间坐标可以使用(x,y,z)形式的标记来实现。

藉由非限定性示例，网络单元可包括一个或多个标记，其包括单元ID数值标识符、‘QIF’、‘胞体’、‘棱锥形’、‘层2/3’、‘V1’、空间坐标标记(0.1,0.3,0.5)、和/或其它标记。突触可以具有诸如以下标记：UD，分别标示突触前和突触后节点ID的神经元前、神经元后、和/或其它标记，‘顶端’，‘exc’，‘glu’，和空间坐标标记(0.1,0.3,0.4)。

Tagged(经标记)算子和标记过滤器

在一些实现中，将标记存储在数据库中可以允许快速访问元素群。对标记进行运算的个体数据库查询语句可充当从数据库中选择(匹配于查询项的)特定元素的标记过滤器(或搜索语句)。例如，在查询中指定<'V1'>可以导致选择在其任何标记中包括'V1'的个体元素，例如整个V1子集。指定(<'V1'AND'棱锥形'AND NOT'层2/3')可得到V1中不位于网络层2和3中的个体棱锥形细胞。

在一些实现中，标记查询的输出可被如下地指派其自己的标记：

<tag filter>TAGGED new tag

列表3

一些实现可以允许寻址满足标记过滤器(tag filter)的元素，而无需复制和粘贴过滤器语句。

示例3。

以下语句：

exc OR inh TAGGED all

可以将标记‘所有’(all)添加至所有的‘exc’和‘inh’神经元以易于引用。

示例4。

以下语句：

(exc AND id<400)OR(inh AND id<100)TAGGED first_half

可以通过将额外标记指派给第一半(first_half)元素来将网络切为两半。

OF算子和子集

在一些实现中，表达式

n OF<tag filter>

列表4

可以返回满足标记过滤器(tag filter)条件的n个随机元素的列表。如果标记过滤器返回少于n个元素，则一些元素可被复制，从而由列表5的表达式返回的元素的总数量等于n。OF算子可以不指派新的标记。OF算子可以选择元素子集。为了向子集的元素指派标记，可以使用TAGGED算子。表达式

100 OF cones TAGGED S_cones

列表5。

可以从视锥(cone)的节点群体中选择100个元素并且可以将个体选定元素标记为S_cones。类似地，表达式

300 OF(cones AND NOT S_cones)TAGGED M_cones

cones AND NOT M_cones AND NOT S_cones TAGGED L_cones

列表6。

可以从(不在子集S_cones中的)视锥的节点群体中选择300个元素，可以将个体选定元素标记为M_cones，可以从(既不在S_cones子集中也不在M_cones子集中的)视锥的节点群体中选择个体其余元素，并可以将每一选定元素标记为L_cones。

示例6。

根据一些实现，包括800个激发性(exc)神经元和200个抑制性(inh)神经元的网络可被拆分为两个等同的子网络，即子网络1(subnetwork 1)和子网络2(subnetwork2)，其各自包括400个exc和100个inh的随机选定的神经元，如下：

400 OF exc TAGGED subnetwork 1

100 OF inh TAGGED subnetwork 1

400 OF(exc AND NOT subnetwork 1)TAGGED subnetwork2

100 OF(inh AND NOT subnetwork 1)TAGGED subnetwork2

列表7。

将列表7的实现与以下语句进行对比：

500 OF(exc OR inh)TAGGED subnetwork1

500 OF(exc OR inh)TAGGED subnetwork 2。

列表8。

列表8的语句不保证子网络1和子网络2中的每一者精确地包括400个激发性神经元和100个抑制性神经元。

PUT算子和单元的实例化

该PUT算子可被用于如下地实例化和标记网络单元：

PUT n OF unit_class

列表9。

PUT算子可以是创建‘单元_类(unit_class)’类型的n个实例并将其标记为(id,unit_class)的指令。附加标记可随后通过使用TAGGED算子被添加至这些单元。PUT算子可以调用单元_类的相应构造器函数以实例化个体单元。在列表10中，OF关键字可被用于使得通过调用单元_类构造器n次来生成该单元_类的n个副本。

示例8：

根据一些实现，语句

PUT 800 OF exc

列表10。

可以创建exc类的800个单元，其中个体实例被标记为(id,exc)。

以下语句

PUT 800 OF exc TAGGED exc_neurons

列表11。

创建exc类的800个单元，其中个体实例被标记为(i)(id,exc)；和/或(ii)附加标记exc_neurons，从而个体实例包括两个标记。

在一些实现中，PUT算子可被如下地用于通过使用过滤器参数来创建单元实例：

PUT<tag filter>OF unit_class

列表12。

列表12的指令可被配置成创建unit_class的与由<tag filter>(标记过滤器)查询字段选定的元素数量相对应的数量的实例。列表12中个体的被实例化的单元可用与单元列表中由该查询选定的相应元素相对应的标记来标记。当构造函数unit_class被调用时，它可以能够访问其实例化的元素的标记(例如，ID、坐标等)，从而构造器具有充分的信息用于单元构造。

示例9：

语句

800 ON circle(l)TAGGED my_points//参见以下对ON的定义

PUT my_points OF exc

列表13。

可被配置成实例化并在单位圆(circle)上分发exc类的800个单元。可通过使用合成语句PUT 800 OF exc ON circle(1)来达成相同结果。

CONNECT算子和连接单元

连接(CONNECT)算子可如下被用于突触连接：

CONNECT pre_tag TO post_tag WITH synapse_class

列表14。

其中参数synapse_class(突触_类)标示针对突触连接的类定义，而前标记(pre_tag)和后标记(post tag)标示指定由突触所连接的突触前单元和突触后单元的过滤器掩码。在一些实现中，多个突触前和/或突触后单元可由过滤器掩码来选择，藉此导致在满足过滤器掩码的单元之间生成多个突触连接。

在一些实现中，synapse_class可在CONNECT语句中由junction_class(结_类)来代替，从而可以生成突触结。构造函数synapse_class可以能够访问突触前和/或突触后元素的个体标记。构造函数synapse_class可以决定延迟和/或其它所需有关参数。

示例9。

一些实现可以提供如下语句：

CONNECT N OF pre_tag TO post_tag WITH synapse_class

CONNECT pre_tag TO N OF post_tag WITH synapse_class

列表15。

列表15中的第一语句可被配置成生成连接矩阵，从而个体post_tag(后标记)单元被连接至N个突触前单元。列表15中的第二语句可被配置成生成从个体pre_tag(前标记)单元到n个post_tag单元的N个传出突触。

列表15中的语句可以使用随机选择的子集。这可通过在所有加了前标记的单元的列表中随机游走并随机选择子集的元素来实现。

示例10。

一些实现可以提供如下语句：

n OF(CONNECT pre_tag TO post_tag WITH synapse_class)

CONNECT pre_tag TO NEAREST post_tag WITH synapse_class

CONNECT NEAREST pre_tag TO post_tag WITH synapse_class

列表16。

列表16中的第一语句可被配置成实例化包括前-后突触的全连通矩阵的随机子集的突触。术语全连通矩阵可被用于描述所有突触前单元被连接至所有突触后单元的网络配置。与列表15中示出的示例不同，列表16中的第一语句不保证所有突触前单元或所有突触后单元包括相同数量的突触。

列表16中的第二和/或第三语句可被配置成生成基于突触前单元和突触后单元的坐标的突触连接。第二语句可包括配置成将每一突触前单元连接至满足标记掩码的最靠近的突触后单元的环。第三语句可以循环遍历每一post_tag并找到最靠近的(NEAREST)pre_tag。

在一些实现中，参数NEAREST 1 OF可被用于代替列表16的语句中的参数NEAREST。

在一些实现中，个体突触前单元可以使用如下语句被连接至n个最靠近的突触后单元：

CONNECT exc TO NEAREST n OF exc WITH glu

列表17。

其可以创建从个体激发性神经元(即，标记为‘exc’的单元)至n个最靠近的激发性神经元的‘glu’类型突触，这n个最靠近的激发性神经元包括该个体激发性神经元自身(即，导致一个自突触)。

推广的OF算子

在一些实现中，推广形式的OF选择算子可被配置为：

列表18。

推广的OF算子可以执行以下一者或多者：(i)创建满足标记滤波器1(tag filter1)条件的所有n个元素的列表1(list_1)；(ii)创建满足标记滤波器2(tag filter2)条件的所有m个元素的列表2(list_2)；(iii)通过从列表2中(随机地)选择n个元素的子集来创建列表3(list_3)，如果n>m，则在列表3中有n-m个元素被重复；(iv)返回合并列表，其中来自列表1的每一元素具有来自列表3中的匹配元素的附加标记；和/或其它动作。如果列表1和列表3两者都包括坐标标记，则合并列表中的个体元素可包括为对应元素的坐标总和的坐标标记，从而可维持每元素的单个坐标(x,y,z)标记。

示例11。

在一些实现中，单元集可用‘视锥(cones)’来标记。随机坐标集可用‘视网膜(retina)’来标记。随机视网膜坐标可使用以下表达式被指派给视锥：

cones OF retina

当视锥的数量大于坐标的数量时，则多个视锥可被指派相同的坐标。

ON算子和坐标指派

ON算子可被用于如下从由参数pdf定义的概率密度函数返回n点的采样：

n ON pdf,

示例12

一些实现可以提供如下语句：

1000 ON segment(0,1)TAGGED rnd

1000 ON circle(1)TAGGED cones

列表19。

列表19的第一语句可被配置成生成标记为‘rnd’的元素的列表。这些标记为‘rnd’的元素可被均匀分布在由坐标x＝[01]定义的空间段(segment)内。即，元素可以具有标记(rnd,x)，其中x值均匀分布在范围[01]中。列表19中的第二语句可被配置成生成标记为‘cones’(视锥)并均匀分布在单位圆上的1000个元素的列表。

在一些实现中，ON算子可以使用由函数F返回的个体点：

ALL ON F

PER算子和标记组合

算子PER可被用于贯穿由例如标记过滤器指定的标记列表(tag_list)进行迭代。对于该列表的个体元素而言，算子PER可以调用语句(statement)，从而向其传递列表元素的所有标记。PER算子的格式可以是：

statement PER tag_list

PER算子可以返回包含描述所生成的网络元素的数据的表。在一些实现中，PER算子可被用于创建每神经元的多个突触。在一些实现中，PER算子可被用于创建每位置(location)的多个神经元。在一些实现中，PER算子可被用于创建每皮层表面的多个皮层列。

示例13

一些实现提供如下语句：

1000 ON segment PER neuron

1000 OF locations PER neuron

列表20。

SPNET

在可以适用于SPNET的一些实现中，单元类exc和inh以及突触类glu和gaba可在SPNET定义内来定义。

PUT 800 OF exc

PUT 200 OF inh

CONNECT exc TO 100 OF exc OR inh WITH glu

CONNECT inh TO 100 OF exc WITH gaba

列表21。

列表21的第一行可被配置成生成exc类型的800个单元。列表21的第二行可被配置成生成inh类型的200个单元。列表21的第三行可被配置成用连接类型glu将具有标记‘exc’(注意，类类型可自动被用作标记)的个体单元连接至具有标记‘exc’或‘inh’的100个随机选择的单元。列表21的第四行可被配置成用连接类型gaba将具有标记‘inh’的个体单元连接至具有标记‘exc’的100个随机选择的单元。

视网膜像素至视锥映射

在一些实现中，HLND描述可被用于描述视网膜像素至视锥映射。一般来说，视锥细胞或视锥可以是或可以指代眼睛视网膜中负责颜色视觉的感光细胞。视锥细胞可以是在中央凹中密集填塞的，但是朝着视网膜的外围逐渐变得稀疏。以下提供了描述视网膜映射的各个方面的若干示例。

//创建像素(pixel)坐标的100×100正方形网格(square grid)

square_grid(100,100)TAGGED pixels

//在每一像素坐标处创建像素单元(pixel unit)

PUT pixels OF pixel_unit

//创建视锥坐标的六边形网格(hexagonal grid)

hexagonal_grid(100,100)TAGGED cones

//将具有其10％的随机子集标为S视锥

//以及创建适当的S_unit(S_单元)

SIZE(cones)*0.1 OF cones TAGGED S_cones

PUT S_cones OF S_unit

//将具有其余视锥中的30％的随机子集标记为M视锥

SIZE(cones)*0.3 OF cones AND NOT S_cones TAGGED M_cones

PUT M_cones OF M_unit

//其余视锥是L视锥

cones AND NOT S_cones AND NOT M_cones TAGGED L_cones

PUT L_cones OF L_unit

//藉由结(junction)将每一像素连接至一个最靠近(nearest)的S视锥CONNECT pixels TO NEAREST S_cones WITH p2S_junction

//同样处理M视锥

CONNECT pixels TO NEAREST M_cones WITH p2M_junction

//同样处理L视锥

CONNECT pixels to NEAREST L_cones WITH p2L_junction

列表22。

有向图

在一些实现中，标记网络子集的指派可被配置成使得能将网络表示为有向图。有向图或即定向图可包括元素对G＝(V,A)，其中集合V的元素可被称为顶点或节点，而集合A为有序顶点对、称为弧、有向边、或箭头。在HLND中，术语节点可被用于顶点，并且连接是边。

HLND和GUI

在一些实现中，HLND可包括图形用户界面(GUI)。GUI可被配置成使用适当的句法将用户动作(例如，命令、选择等)转译成HLND语句。GUI可被配置成响应于HLND语句而更新GUI以显示网络的变化。GUI可以提供GUI中的用户动作与HLND语句之间的一对一映射。此种功能性可以使用户能尤其通过显示响应于用户动作而创建的HLND语句等以虚拟方式来设计网络。GUI可以反映例如使用GUI的文本编辑器模块输入到网络的图形表示中的HLND语句。

该“一对一映射”可以允许相同或类似的信息以多种格式(例如，GUI和HLND语句)被无歧义地表示，因为不同的格式被一致地更新以反映网络设计中的变化。此开发办法可被称为“往返工程设计”。

HLND中的用户动作

在一些实现中，GUI可以支持用户动作，其包括创建节点、选择网络的一个或多个子集、连接节点、标记选定子集内的节点、和/或其它用户动作。在一些实现中，GUI可以支持网络对象的定义。以下详细描述一些示例性用户动作。

创建节点

现在参照图12，解说了根据一个或多个实现的使用GUI的节点创建。在一些实现中，创建神经网络的节点可能要求包括要实例化和/或生成的节点的类型、要创建的节点的数量、和/或其它信息的信息。在一些实现中，用户可以提供包括要指派给所创建的节点的列表标记、用于实例化和/或初始化节点的附加参数、和/或其它信息的信息。用于实例化和/或初始化节点的附加参数可以取决于特定的网络实现，诸如举例而言，关于如何布局要实例化的节点(即如何指派数值空间标记)的指令。

以上GUI节点创建功能性可由HLND内核的实现节点生成的一个或多个适当的指令来支持。更多细节参见例如以上列表10。当用户输入HLND节点生成指令(语句)时，GUI可以在图形编辑器中生成与相应(诸)节点相对应的图形表示(例如，唯一性符号、象形图、和/或图标)。用户对HLND语句的输入可通过各种手段来实行，包括但不限于，文本输入、语音、软键(图标)、和/或配置用于HLND语句输入的其它手段。

用户可以采用图12的GUI 1200来执行节点创建。根据一些实现，用户可以从节点类型的可用列表(图12中的列表1210)中选择节点类型；将选定的节点类型(例如，图12中的类型1216)拖放(如经由图12中的箭头1204所解说的)进编辑器面板1202中，其中该节点用唯一性节点符号1208来表示；经由与特定节点类型1216相关联的补充输入手段(诸如举例而言，图12中的弹出菜单1220)提供附加参数(如果需要)；和/或执行用于创建节点的其它动作。

搜索框1242可以允许用户使用一个或多个关键字来过滤所显示的节点类型1212、1214和1216的列表。这可促成存在有大量节点类型可用情况下的节点类型选择。弹出菜单1220可以使用户能图形地指定节点的数量1226、用于节点实例化的参数1224、布局过程1230、附加标记1232、和/或与节点创建相关联的其它信息。

GUI可以允许用户在文本编辑器(HLND语句1240)与GUI节点创建之间来回切换。藉由非限定性示例，在GUI中选择用于节点布局的不同参数/选项可以更新HLND语句。改变指派给在HLND语句中创建的节点的附加标记可以更新GUI中的这一信息。

图12中示出的GUI界面并不旨在构成限定，因为其它实现被构想并落在本公开的范围内。例如，在一些实现中，GUI可包括下拉列表、单选按钮、和/或其它元素。

选择网络子集

现在参照图13、13A和13B，示出并详细描述了节点子集选择的不同示例性实现。图13的GUI 1300可包括网络布局面板1302、两个或更多个选择描述面板1304和1306、和/或其它组件。面板1302中示出的网络可包括具有分别被描绘为‘□’、‘Δ’、‘○’的不同标记1305、1308和1310的多个节点。选择描述面板1304和1306可包括HLND语句的布尔部分，其对应于相应子集。

在一些实现中，“选择网络子集”用户动作可对应于使用GUI编辑器(例如，图13的GUI)来选择网络的成员。用户可以例如通过使用鼠标(或其它定点设备，诸如轨迹球、类触摸垫设备和来自Apple的iPad上的手指、光笔、和/或其它技术)来选择网络的子集。使用GUI的子集选择可以经由选择性地点击/轻叩与网络的期望成员相对应的图形符号、点击并拖曳以选择网络的区域、其组合、和/或用于选择子集的其它动作来达成。GUI的子集选择动作可由HLND内核的实现子集选择的相应指令来支持。更多细节参见例如以上列表6-7。

如图13中所示，节点子集1312可包括包含标记1305的节点，而子集1314可包括具有标记1308和1310两者的节点。一旦子集1312和1314被选定，面板1304和1306中的布尔表达式就可被相应地更新。

在一些实现中，图13的GUI 1320中示出的网络包括两个子集，其包括包含标记1305和1308的子集1322、包含标记1310的子集1314、和/或其它子集。选择描述面板1324可被更新以反映与子集1322的标记内容相对应的布尔表达式。在一些实现中，可以通过形成包括子集1322与1314之间的交集(如由布尔表达式1328所指示)的子集1326来生成附加子集。

藉由非限定性示例，响应于用户输入用于子集选择语句的布尔表达式(例如，图13中的表达式1306)，GUI可以在图形编辑器中显示(例如，使用图13中的阴影矩形来显示)该子集的对应选定成员。在一些实现中，GUI可以在图形编辑器中生成与(诸)子集选择相对应的图形表示，如以下关于图13A-13B所解说的。图形表示的示例可包括唯一性符号、象形图、图标、和/或其它图形表示中的一者或多者。在一些实现中，图形表示可包括图形属性的变化(包括颜色、阴影模式、和/或其它图形属性中的一者或多者的变化)。

图13A解说了节点子集选择的示例性实现，其可被应用于包括大量节点的网络子集，其中个体节点的描绘并非总是切合实际的。图13A的GUI实现1330中示出的网络可包括两个子集1332和1334，其可使用不同阴影的矩形来描绘。图13A的GUI实现1340中示出的网络可包括子集，其可由具有不同填充图案的形状来描绘(参见例如，图13A中的矩形1342和1344)。图13A中的子集1346可被选择为1342 I 1344。

在一些实现中，GUI用户动作可使用唯一性符号1362和1368来表示，如在图13B中示出的网络1360中所解说的。唯一性符号1362和1368可以分别表示子集1304和1306，并且可以是因子集而异的。藉由非限定性示例，唯一性符号的颜色和/或其它标识质量可根据用于标识子集的标记来配置。图形编辑器面板1302中的符号的形状和位置可根据子集的成员的空间标记来配置。这可由符号1362、1368、1372、1376、1378、1382和1388来解说，其可以描绘GUI实现1360、1370和1380解说的网络的子集。在一些实现中，符号可基于元素类型来配置。在一些实现中，符号选取可取决于该子集是包括(i)仅节点、(ii)仅连接、还是(iii)节点和连接。

在一些实现中，相同的网络配置(例如，图13的子集1312)可以使用不同符号/图标在GUI图形面板(例如，图13的面板1302)内表示。在可以对应于低程度细节网络视图(对应于例如无缩放或低缩放)的一些实现中，子集可以使用符号(图13B的符号1362)来表示，而无需显示该子集的个体元素。

在可对应于例如具有有限处理能力的网络或配置用于批量更新的网络的一些实现中，子集可以使用符号来表示而无需显示该子集的个体元素。

在可与高程度细节网络视图相关联的一些实现中(对应于例如高缩放程度、和/或当有处理资源可用于处理与子集的个体元素有关的信息时)，该子集可使用提供该子集的进一步细节的图形描绘来表示(例如，图13的将个体子集元素解说在其适当位置处的表示1312)。

在一些实现中，可以执行HLND框架选择操作以将附加标记指派给选定的成员，在连接语句中使用选定成员(在这一情形中为节点)和/或执行其它动作。

GUI可以允许用户在文本编辑器(HLND语句)与GUI子集选择之间来回切换。藉由非限定性示例，使用GUI来选择不同的节点成员可以使得更新相应的HLND语句。改变文本编辑器中的选择可以更新图形编辑器中的选择。在一些实现中，更新选择可包括高亮显示和/或另行视觉地强调选定的成员。

连接节点

“节点连接”用户动作可对应于创建网络节点之间的连接。根据一些实现，在创建结点间连接时，HLND内核可能要求以下一者或多者：第一子集选择(例如，连接将源自的节点子集)、第二子集选择(例如，连接将终结于的节点子集)、用于将第一子集连接至第二子集的连接类型、和/或与连接节点相关联的其它信息。

在一些实现中，可向HLND内核提供一个或多个附加参数，包括以下一者或多者：用于设置连通性映射(例如，所有对所有、一对一、一对最靠近、和/或其它由用户定义的连接映射)的参数、用于实例化和/或初始化连接实例(例如，初始化突触权重)的参数、要指派给所创建的连接实例的列表标记、和/或其它参数。

HLND内核可以实现配置成连接网络中的节点的指令。(更多细节参见例如以上列表16-17)。藉由非限定性示例，当用户输入连接指令时，GUI可以在图形编辑器中创建对应的图形表示(例如，画出从源到目的地节点选择的链路/箭头)以解说这些连接。

根据一个或多个实现，用户可以使用GUI来选择网络成员的源子集选择，选择网络成员的目的地选择，将源选择拖放到目的地选择上以将第一选择连接至第二选择，和/或执行其它动作。GUI可以在图形视图中生成表示源成员与目标成员之间的相应连接的链路/箭头元素。

在一些实现中，与连接元素(链路/箭头)相关联的弹出菜单可以允许用户从连接类型的可用列表中选择连接类型。在一些实现中，弹出菜单可以允许用户提供用于实例化和/或初始化连接实例的附加参数。在一些实现中，弹出菜单可以允许用户设置用于设置连通性映射的参数。

GUI可以允许用户在文本编辑器(HLND语句)与GUI连接创建之间来回切换。藉由非限定性示例，使用GUI来选择不同的节点成员可以使得更新与节点描述相关联的HLND语句。改变文本编辑器中的选择可以更新图形编辑器中的选择(例如，高亮显示选定的成员)。

图14解说了使用GUI来连接两个节点集合的示例性实现。GUI 1400可包括网络节点视图面板1402、一个或多个节点集合选择域1406和1404、HLND语句域1442和1444、和/或其它组件。当在HLND GUI域1402中使用例如鼠标点击并拖曳动作来选择节点集合1412和1414时，节点集合选择域1404和1406可被更新以反映选定的集合。如图14中所解说的，集合1412可包括具有标记1405(描绘为‘正方形’)的节点。集合1414可包括具有标记1408(描绘为‘三角形’)和具有标记1410(描绘为‘圆形’)的节点。节点集合选择域1404和1406可被更新以分别用与集合1412和1414相对应的标记来显示选定节点。

根据一些实现，可通过在一选择上调用例如右击以便为网络的选定成员指派新标记来向集合1412和1414指派附加标记。用于标记添加的HDLN语句可以被自动生成。

在一些实现中，可使用例如右击(如线1418所解说的)来调用补充图形数据输入手段(例如，图14中的弹出菜单1430)。菜单1430可被用于尤其将附加标记1432或新标记1434指派给选定的节点等。

在一些实现中，如由图14中在GUI域1402中的箭头1416所解说的，通过使用拖放动作、使用鼠标和/或触摸垫设备上的手指，第一选择可被‘放’到第二选择上，这可指令HLND引擎创建集合1412的节点1405与集合1414的节点1408和1410之间的连接。

附加的补充图形数据键入手段(例如，图14中的弹出菜单1420)可被尤其用于指定用于连接的参数。指定用于连接的参数可包括以下一者或多者：设置连接类型1422、初始化用于连接类型的参数1424、指定连通性模式1426、将标记指派给连接1428、和/或其它动作。

对于使用GUI 1400用节点选择1412和1414执行的一个或多个用户动作，对应的HLND语句可被自动生成并分别在语句域1442和1444中被显示。

图12-14中示出的GUI界面并不旨在构成限定，因为其它实现被构想且落在本公开的范围内。例如，一些实现可包括下拉列表、单选按钮、和/或其它组件。

HLND与END格式的关系

HLND格式可被设计成与元素式网络描述(END)格式兼容和/或与其结合使用，END格式在以上纳入的于2011年9月21日提交的题为“ELEMENTARY NETWORK DESCRIPTION FOR NEUROMORPHICSYSTEMS(用于神经元形态系统的元素式网络描述)”的美国专利申请S/N.13/239,123中描述。在一些实现中，可以基于HLND描述(例如，模型神经元的END实现)来生成END单元的实例。END结和/或END突触的实例可有向地连接各单元。HLND可以定义解剖结构，而神经和突触动态可在所应用的END类中定义。HLND可以隐藏END的复杂性和/或低级难度，并且可以使网络设计是简单过程。

所生成的END实例可被用于生成实现和/或运行指定模型的神经网络引擎。即，END实例可被用于生成实现由HLND描述和/或所应用的END类定义的网络的引擎。该引擎可在来自PC、FPGA、任何专用END兼容硬件、和/或其它计算机硬件的任意硬件平台上执行。

图11解说了END引擎的三种基本结构，其可在通用RISC/CISC中央处理单元(CPU)、图形处理单元(GPU)、集成电路(例如，ASIC)、和/或其它处理器上实现。END引擎的结构可以对应于图11中的‘单元’1101、‘双联体’1111、和/或‘三联体’1121。END引擎可被配置成执行单元、双联体和三联体规则、和/或访问这些元素的存储器。END格式可被当作将配置具有执行指定神经元网络的此类单元、双联体和三联体的半导体电路的硬件规范语言来对待。

在一些实现中，个体基本结构(例如，单元、双联体、和/或三联体)可被实现为多线程处理器上的单个线程。在一些实现中，个体结构可被实现为超单元、超双联体、和/或超三联体，其可包括配置成分别使用时间复用来处理单元、双联体、和/或三联体的专用电路。一些实现可包括三个不同电路：单元、双联体、和三联体中的每一者有一个电路。

在一些实现中，单元1101可以表示神经元和/或神经元的部分(例如，树突房室)。在另一示例中，单元1101可以表示神经元的群体。神经元的活动可以表示该群体的“平均激发率”活动和/或该群体的活动的其它平均场近似。个体单元可以与存储器变量和描述对其存储器可以执行什么操作的更新规则相关联。各操作可以是基于时钟的(即，在模拟的每个时间步执行)或者它们可以是基于事件的(即，在某些事件被触发时执行)。

取决于单元变量的值，这些单元可以生成经由双联体来触发其它单元中的突触事件的事件(例如，脉冲或尖峰)。例如，图11中的单元1102可以经由双联体1111来影响单元1103，双联体1111可以表示从突触前神经元(突触前单元1102)到突触后神经元(突触后单元1103)的突触。

个体单元可以具有事件后更新规则，该规则可在事件被触发之后得以被触发。这些规则可以负责单元变量因事件引起的修改，例如，电压变量的尖峰后重置。

个体的双联体可以与存储器变量相关联。个体的双联体可以访问突触后单元的变量。此种访问可包括读、写、和/或访问机制。个体的双联体可以与对双联体存储器作出改变以实现突触可塑性的双联体事件规则相关联。个体的双联体可以与对突触后单元存储器作出改变以实现脉冲递送的双联体事件规则相关联。双联体事件规则可以涵盖以上在END格式中描述的一些或所有突触规则。

因为多个双联体(例如，图11中的1116-1118)可以将对应的多个突触前单元1106-1108连接至单个突触后单元1109，所以双联体可以并行和/或以任意次序来修改突触后单元存储器。结果可以是与次序无关的。这可以在对突触后单元存储器的操作是原子加法(如在GPU中那样)、原子乘法(其等同于经由对数变换的加法)、和/或重置为一值(其中所有双联体尝试重置为同一值)时达成。正由双联体事件规则修改的突触后单元变量不可以在该规则中使用。否则，结果可能取决于双联体事件规则的执行次序。

现在参照图15，示出并详细描述了包括HLND内核和END描述的神经网络定义系统的示例性实现。在图15中，圆形1504、1502和1506可以表示不同的较高级网络描述方法或格式。圆形1510可以表示网络的END描述。来自1504、1502和1506的箭头可以标示至END描述的转换过程。例如，处理网络的HLND描述(例如，HLND语句)的软件可以生成同一网络的END描述。图15中的矩形1512、1515、1516和1518可以标示由END描述1510定义的网络的各种硬件平台实现。圆形1510与矩形1512、1515、1516和1518之间的箭头可以标示引擎生成过程。藉由非限定性示例，END描述1510与矩形1512之间的箭头可以表示生成实现END网络并被配置成在CPU上运行的可执行件的过程。HLND定义1502可被处理并转换为END描述1510。END描述可被配置成被处理(例如，由各个软件应用处理)以生成因平台而异的机器可执行指令。这些因平台而异的机器可执行指令可被配置成在各种硬件平台上执行，这些硬件平台包括但不限于元素通用处理器1512、图形处理单元1514、ASIC1516、FPGA 1518、和/或其它硬件平台。

其它网络描述格式可与过程1500联用，诸如举例而言，BRIAN 1504和/或配置成生成网络的END描述的其它神经元形态网络描述格式1506(例如，NEURON(神经元))，如图15中所解说的。

计算机化的HLND装置的示例性实现

关于图16示出并描述了配置成在设计神经网络(例如，图15的网络1500)中利用HLND框架的计算机化网络处理装置的示例性实现。计算机化装置1600可包括处理块(例如，处理器)1602，其耦合至非易失性存储设备1606、随机存取存储器(RAM)1608、用户输入/输出接口1610、和/或其它组件。用户输入/输出接口可包括以下一者或多者：键盘/鼠标、图形显示器、触摸屏输入输出设备、和/或配置成从用户接收输入和/或向用户输出信息的其它组件。

在一些实现中，计算机化装置1600可以经由I/O接口1620(诸如，计算机I/O总线(PCI-E)、有线(例如，以太网)或无线(例如，WiFi)网络连接)耦合至一个或多个外部处理/存储设备。

在一些实现中，输入/输出接口可包括配置成从用户接收人声命令的语音输入设备(例如，话筒)。输入/输出接口可包括配置成从用户接收并识别人声命令的语音识别模块。语音识别的各种方法被认为是落在本公开的范围内。语音识别的示例可包括以下一者或多者：在处理器上运行的基于线性预测编码(LPC)的频谱分析算法、包括梅尔倒频谱系数(MFCC)的频谱分析、耳蜗建模、和/或用于语音识别的其它办法。音素/字识别可以基于HMM(隐式马尔科夫建模)、DTW(动态时间翘曲)、NN(神经网络)、和/或其它过程。

END引擎1510可被配置成将网络的HLND描述转换为机器可执行格式，该机器可执行格式可以是针对特定硬件或软件实现被最优化的。机器可执行格式可包括可由处理块1602执行的多个机器可执行指令。

本领域技术人员将领会，各种处理设备可与各种实现联用，包括但不限于单核/多核CPU、DSP、FPGA、GUP、ASIC、其组合、和/或其它处理器。各种用户输入/输出接口可应用于各种实现，包括但不限于，LCD/LED监视器、触摸屏输入和显示设备、语音输入设备、指示笔、光笔、轨迹球、和/或其它用户接口。

GUI用户动作的执行

在一些实现中，网络设计系统(例如，图16的系统1600)可以自动将GUI动作转换为HLND指令和/或转换成END语句。HLND指令可以致使自动更新GUI表示和/或END描述。

图17解说了执行与同一网络设计元素相对应的不同表示的无缝更新的一种办法。网络描述1702(例如，节点、连接、子集等)可包含定义网络所必需的信息。在一些实现中，网络描述(1702)可包括节点类型、节点类型参数、节点布局参数、标记、和/或其它信息中的一者或多者。在一些实现中，网络描述(1702)可包括连接类型、连接类型参数、连接模式、标记、和/或其它信息中的一者或多者。可以存在各种其它描述类型(例如，子集)，其可包括与之相关联的恰适信息。

如图17中所解说的，单个对象(例如对象1702)可以具有与之有关的一个或多个表示，这些表示可包括GUI表示1712(例如，使用图13的GUI编辑器1302)、HLND表示1714(例如，使用以上关于图14描述的HLND语句)、END表示1716(参见例如图15)、和/或其它表示(由矩形1718来描绘)。响应于正被生成和/或更新的对象性质(即，对象数据元素)，该对象的对应表示(例如，表示1712、1714、1716和1718)可以分别使用双向路径1720、1722、1724和1726来更新。

在一些实现中，响应于修改一选择的用户GUI动作，对应的(诸)HLND语句(例如，图17中的HLND表示1714)可被更新。在一些实现中，END指令(例如，图17中的END表示1722)可被更新。

在一些实现中，END指令可由装置来执行，藉此能够实现对网络的更为详细和准确的表示。

在一些实现中，当创建单元的语句在网络描述框架内可用时，可以使用唯一性彩色符号在GUI内呈现节点。

在一些实现中，响应于节点的坐标可用——即当连接语句至少部分地得到处理时，可用唯一性(针对整个子集而言)的符号在GUI内将各节点呈现在其正确位置处。

在一些实现中，当连接指令在网络描述框架中可用时，可由GUI使用例如单条线来呈现两个子集之间的连接。

在一些实现中，一旦针对连接实例的节点前和节点后信息可用(即，先前已经生成)——即，一旦连接语句至少部分地得到处理，则两个子集之间的连接就可以示出详细连通性结构。

在一些实现中，响应于针对连接实例的节点前信息、节点后信息、和/或初始权重可用——即，一旦连接语句至少部分地得到处理，则两个子集之间的连接就可以用每连接唯一性的性质(例如，表示连接的线宽)来示出详细连通性结构。

如由本领域技术人员所领会的，其它表示(例如，图17中的矩形1718所描绘的)可以存在并可与各种实现兼容，前提是它们符合本文描述的更新框架。

在一些实现中，不同表示(例如，图17中的表示1712、1714、1716和1718)之间的数据交换可以经由通过图17中的箭头1730、1732、1734、1736、1738和1739标示的直接链路来实现。为了清楚起见，图17中并未示出表示1712、1714、1716和1718之间的所有直接连接。

将认识到，尽管按照方法的具体步骤顺序描述了本公开的某些方面，但这些描述仅解说了本公开的较广泛方法，并且可如特定应用所需地进行修改。在某些情况下，可导致某些步骤不必要或者可任选。另外，某些步骤或功能性可被添加至所公开的实现，或者两个或更多个步骤的执行次序可以置换。所有此类变体被认为是被涵盖在本文中所公开和要求保护的本公开内的。

尽管出于解说目的基于当前认为的最实际和优选的实现来详细描述了本公开，但将理解，此类细节仅用于该目的且本公开并不限于所公开的实现，而是相反，本公开旨在涵盖落在所附权利要求的精神和范围内的修改和等效布置。例如，将理解，本公开在尽可能的程度上构想了任何实现的一个或多个特征可与任何其它实现的一个或多个特征结合。

Claims

1.一种实现包括多个元素的神经网络的由计算机实现的方法，所述方法包括使用标记来标识所述多个元素的子集；

其中指派所述标记被配置成使得能生成包括所述子集的至少一部分元素的新网络元素。

2.如权利要求1所述的方法，其特征在于，所述标记包括配置成标识每一元素的唯一性标识符。

3.如权利要求2所述的方法，其特征在于，进一步包括将所述标记指派给所述子集的每一元素。

4.如权利要求3所述的方法，其特征在于，进一步包括生成所述多个元素，其中所述生成是在指派所述标记之前。

5.如权利要求3所述的方法，其特征在于，所述每一元素是随机地从所述多个元素中选择的。

6.如权利要求2所述的方法，其特征在于，所述子集的所述每一元素包括单元。

7.如权利要求2所述的方法，其特征在于，所述标记包括串标识符。

8.如权利要求2所述的方法，其特征在于，所述标记包括字母数字标识符。

9.如权利要求8所述的方法，其特征在于，所述字母数字标识符被适配成标识所述子集的相应元素的空间坐标。

10.如权利要求8所述的方法，其特征在于，所述子集包括多个节点；并且

所述字母数字标识符包括所述多个节点中的至少一个节点的标识符。

11.如权利要求8所述的方法，其特征在于，所述标记被适配成使得能标识所述子集。

12.如权利要求2所述的方法，其特征在于，所述新网络元素包括连接。

13.如权利要求12所述的方法，其特征在于，所述连接包括(i)突触和(ii)结之一。

14.一种在包括多个元素的神经网络中生成多个连接的由计算机实现的方法，所述方法包括：

执行至少包括第一标记和第二标记的第一逻辑表达式；

至少部分地基于所述执行，标识所述多个元素的第一子集和第二子集；以及

生成所述第一子集的至少一部分与所述第二子集的至少一部分之间的多个连接；

其中：

所述第一子集的每一元素包括所述第一标记；以及

所述第二子集的每一元素包括所述第二标记。

15.如权利要求14所述的方法，其特征在于，所述第一子集和所述第二子集的所述每一元素包括所述网络的节点。

16.如权利要求14所述的方法，其特征在于，进一步包括将所述第一标记指派给所述第一子集的每一元素。

17.如权利要求14所述的方法，其特征在于，所述第一标记和所述第二标记中的至少一者由有限生存期来表征。

18.如权利要求14所述的方法，其特征在于，所述多个连接中的每一连接包括突触和结之一。

19.如权利要求15所述的方法，其特征在于，所述标识所述第一子集被配置成使得能生成包括所述第一子集的至少一部分节点的新网络元素。

20.一种动态划分包括多个元素的计算机化神经网络的方法，所述方法包括：

使用标记来标识所述网络的元素子集；

其中所述标识和所述指派协作以使得能使用单个选择操作来选择所述子集的每一元素。

21.如权利要求20所述的方法，其特征在于，进一步包括将所述标记指派给所述子集。

22.如权利要求20所述的方法，其特征在于，进一步包括将所述标记指派给所述子集的每一元素。

23.如权利要求20所述的方法，其特征在于，所述子集包括所述多个元素的多个节点。

24.如权利要求20所述的方法，其特征在于，所述标识所述子集至少部分地基于执行包括从包含AND、NOT和OR的组中选择的关键字的布尔表达式。

25.如权利要求20所述的方法，其特征在于，进一步包括：

使用另一标记来标识所述网络的另一元素子集；以及

实现所述子集内的至少一部分元素与所述另一子集的元素之间的多个连接。

26.如权利要求25所述的方法，其特征在于，进一步包括将所述另一标记指派给所述另一子集的每一元素。

27.如权利要求25所述的方法，其特征在于，所述多个连接中的每一连接包括突触和结之一。

28.如权利要求25所述的方法，其特征在于，所述多个连接中的每一连接是至少部分地基于所述标记和所述另一标记来实现的。

29.如权利要求25所述的方法，其特征在于，所述另一子集内的至少一部分元素与所述子集的元素不同。

30.一种处理装置，包括被配置成存储多个指令的非易失性存储介质，所述多个指令在被执行时实行根据一种方法对神经网络的动态划分，所述方法包括：

标识所述神经网络的元素子集；以及

将标记指派给所述元素子集的每一元素，所述标记包括配置成标识所述每一元素的标识符；

其中所述指派所述标记被配置成使得能生成包括所述元素子集的新网络元素。

31.如权利要求30所述的装置，其特征在于，所述方法是利用专用集成电路(ASIC)使用ASIC指令集来实现的。

32.如权利要求30所述的装置，其特征在于，所述方法进一步包括由所述处理装置执行被配置成标识所述子集的所述每一元素的数学表达式。

33.如权利要求32所述的装置，其特征在于，所述数学表达式包括布尔运算。

34.如权利要求33所述的处理装置，其特征在于，所述子集的所述每一元素是使用随机选择操作来选择的。

35.如权利要求30所述的处理装置，其特征在于，所述方法进一步包括将所述标记指派给所述新网络元素。

36.如权利要求30所述的装置，其特征在于，所述将所述标记指派给所述子集被配置成使得能将所述网络表示为有向图。

37.如权利要求30所述的装置，其特征在于，所述方法进一步包括将第二标记指派给所述子集，所述第二标记与所述标记相异。

38.一种配置成实现包括多个元素的神经网络的系统，所述系统包括：

配置成执行计算机程序模块的一个或多个处理器，其中所述计算机程序模块的执行使所述一个或多个处理器：

标识所述多个元素的子集；以及

将标记指派给所述多个元素的所述子集中的个体元素，其中指派所述标记使得能生成包括所述多个元素的所述子集中的个体元素的新网络元素。

39.一种配置成在包括多个元素的神经网络中生成多个连接的系统，所述系统包括：

执行至少包括第一标记和第二标记的第一逻辑表达式；

基于所述第一逻辑表达式的执行来标识所述多个元素的第一子集和第二子集，其中所述第一子集的个体元素包括所述第一标记而所述第二子集的个体元素包括所述第二标记；以及

生成所述第一子集的至少一部分与所述第二子集的至少一部分之间的多个连接。