CN1333518A - 用于将范数与提供给神经网络的输入模型的每个分量相关联的方法和电路 - Google Patents

用于将范数与提供给神经网络的输入模型的每个分量相关联的方法和电路 Download PDF

Info

Publication number
CN1333518A
CN1333518A CN01122864A CN01122864A CN1333518A CN 1333518 A CN1333518 A CN 1333518A CN 01122864 A CN01122864 A CN 01122864A CN 01122864 A CN01122864 A CN 01122864A CN 1333518 A CN1333518 A CN 1333518A
Authority
CN
China
Prior art keywords
norm
component
neuron
prototype
distance
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Granted
Application number
CN01122864A
Other languages
English (en)
Other versions
CN1228736C (zh
Inventor
基斯兰·I·特里米奥里斯
帕斯卡尔·坦诺夫
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
International Business Machines Corp
Original Assignee
International Business Machines Corp
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by International Business Machines Corp filed Critical International Business Machines Corp
Publication of CN1333518A publication Critical patent/CN1333518A/zh
Application granted granted Critical
Publication of CN1228736C publication Critical patent/CN1228736C/zh
Anticipated expiration legal-status Critical
Expired - Fee Related legal-status Critical Current

Links

Images

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/22—Matching criteria, e.g. proximity measures
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06F—ELECTRIC DIGITAL DATA PROCESSING
    • G06F18/00—Pattern recognition
    • G06F18/20—Analysing
    • G06F18/24—Classification techniques
    • G06F18/241—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches
    • G06F18/2413—Classification techniques relating to the classification model, e.g. parametric or non-parametric approaches based on distances to training or reference patterns
    • G06F18/24147—Distances to closest patterns, e.g. nearest neighbour classification

Landscapes

  • Engineering & Computer Science (AREA)
  • Theoretical Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Data Mining & Analysis (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Artificial Intelligence (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • General Physics & Mathematics (AREA)
  • Biophysics (AREA)
  • Biomedical Technology (AREA)
  • Health & Medical Sciences (AREA)
  • Computer Vision & Pattern Recognition (AREA)
  • Evolutionary Biology (AREA)
  • Bioinformatics & Computational Biology (AREA)
  • Bioinformatics & Cheminformatics (AREA)
  • Molecular Biology (AREA)
  • Computational Linguistics (AREA)
  • General Health & Medical Sciences (AREA)
  • Neurology (AREA)
  • Computing Systems (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Character Discrimination (AREA)
  • Memory System (AREA)
  • Complex Calculations (AREA)

Abstract

本发明的方法和电路的目的在于在距离估计过程中将一个范数与提供给基于输入空间映射算法的人工神经网络(ANN)的输入模型中的每个分量关联起来。一组称为“分量”范数的范数记忆于ANN的特定记忆化装置中。当ANN集成于一片硅芯片内时,此实施方式允许明显地使占用的硅面积优化。

Description

用于将范数与提供给神经网络的输入 模型的每个分量相关联的方法和电路
技术领域
本发明一般涉及人工神经网络(ANN)，更具体地涉及一种用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量(component)相关联的方法和电路。根据该方法，允许在距离估计过程中使用不同类型的范数以便使基本的(或部分的)距离的计算适配于距离估计过程期间提供给这类神经网络的输入模型的每个分量。
背景技术
在当今的数据处理中，使用将输入数据特性化的参考数据库来完成许多识别、预测和计算任务。取决于有待解决的问题，这些参考数据库包含的模型是子图像、子信号、数据子集和它们的组合。存于这些参考数据库中的模型今后在下面称为原型。如专业人员所知道的，它们通常由一个向量即p维空间的阵列所表示。使用参考数据库将以下此处称为输入模型的新(未知)模型特性化的众所周知的方法是基于类似于输入空间映射算法的K最近邻近值(KNN)或影响区域(ROI)的。这些算法的基本原理是计算输入模型与每个所存原型之间的距离(dist)以便找到决定于或不决定于预定阈值的最近值。转让给IBM公司的美国专利5,621,863描述了基于这类输入空间映射算法的人工神经网络，其中包括新类型的新颖基本处理器，此处称为ZISC神经元(ZISC是IBM公司的注册商标)。ZISC神经元的一个主要特性在于它们并行地工作的能力，即当输入模型提供给ANN时，所有ZISC神经元都同时计算输入模型与它们所存原型之间的距离。这些算法的一个重要方面是用于距离估计过程中的称为“范数”的距离估计关系。此范数的选择一方面由准备解决的问题所确定，而另一方面又由用于解决此问题的知识所确定。在ZISC神经元中，输入模型A与存于其中的原型B(每个具有p个分量)之间的距离或者使用MANHATTAN距离(L1范数)即dist＝sum(abs(Ak-Bk))或者使用MAXIMUM距离(Lsup范数)即dist＝max(abs(Ak-Bk))进行计算，其中Ak和Bk分别是输入模型A和所存原型B的秩k(变量k自1变至p)的各分量。注意“abs”是“绝对值”的通常缩写。存在着另一个范数例如L2范数，例如dist＝square root(sum(Ak-Bk)2)。认为L2范数是欧几里德的范数而L1和Lsup范数是“非欧几里德的”范数，然而它们都意味着对距离关系中每个分量的差值的处理。其他欧几里德或非欧几里德范数(例如匹配/不匹配)是ANN领域内专业人员所知道的。在ZISC神经元中，L1或Lsup范数之间的选择由存于神经元中的称为“范数”位号的单个位的值所确定。
另一方面，“上下文”的概念是由ZISC神经元引进的新概念。上下文可以有利地用于区别不同类型的输入模型。例如，上下文可用于区别大写字符和小写字符(或区别不同类型的字体)。在ZISC神经元中，此方案使用存于神经元中的本地上下文Cxt和ZISC芯片的公共寄存器中保持的全局上下文CXT加以实施。其结果是，上下文方案允许选择已经学习了确定的上下文的神经元并且禁止ANN中的所有其他神经元。在识别期间，将全局上下文值与存于每个神经元中的本地上下文进行比较，如果发现它们完全相同，则选择该神经元，否则将它禁止。其结果是，上下文允许将ANN或者配置为单个神经元网络或者配置为组中所有神经元都具有相同本地上下文的单独神经元组的布置。对于ZISC神经元而言，上下文(本地或全局)是用7位进行编码的值。
因此在ZISC神经元中有一个称为本地范数/上下文(No/cxt)寄存器的特定寄存器，用于存储1位范数号和7位上下文cxt信号。在磨合/学习过程结束时，自动地将存于ANN中的全局范数/上下文装载入本地范数/上下文寄存器的内容中。1位范数和7位上下文信号应用于ZISC芯片的控制逻辑电路中。
迄今为止，只有一个范数已经用于所存原型的分量的整体性。在ZISC神经元中，应用于每个分量的范数使用运算符“差分的绝对值”。然后在L1范数的情况下将连续值相加或者在Lsup范数的情况下选择它们的最大值。然而，由于各分量的特性，在某些例子中，根据应用情况为输入模型/所存原型的每个分量将可能不同的范数关联起来应该是值得的。例如，如果将子图像特性化的所存原型的两个分量分别用于描述一个彩色索引和子图像中该彩色索引的象素数量，则将匹配/不匹配范数应用于与彩色索引相关的分量以及将基于绝对值的范数应用于与象素数量相关的分量是有用的。当使用传统ANN时，此方案的主要困难在于：在硅芯片中需要相当数量的记忆体和逻辑电路来将不同范数与输入向量/所存原型的各分量进行关联以及在这些具体条件下实现距离估计过程。
其结果是，目前尚无具备此高度希望的特征的技术。事实上，以上所述美国专利中描述的人工神经网络允许每个神经元只利用一个范数，因此对于所存原型的所有分量而言它是相同的。这对于推广传统的基于输入空间映射算法的神经网络的使用是一个严重的限制，尤其当需要处理具有不同特性的分量的输入模型/所存原型时，对于使用ZISC神经元构成的ANN而言更是如此。
技术内容
因此本发明的一个主要目的是提供一种用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量关联起来的方法和电路。
本发明的另一个目的是提供一种用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量关联起来以便允许使用距离估计过程中的不同范数的方法和电路。
本发明的又一个目的是提供一种当需要处理具有不同特性的分量的输入模型时用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量关联起来的方法和电路。
本发明的又一个目的是提供一种用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量关联起来的方法和电路，其中所有范数都记忆于全局记忆体内。
本发明的还有一个目的是提供一种用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量关联起来的适用于处理若干组范数的方法和电路。
本发明的又一个目的是提供一种用于将一个范数与提供给基于输入空间映射算法的人工神经网络的输入模型的每个分量关联起来的方法和电路，其中范数记忆于神经元内。
这些将一个范数与提供给基于输入空间映射算法的人工神经网络(ANN)的输入模型的每个分量关联起来的本发明的方法和电路用于完成这些和其他相关目的。一组称为“分量”范数的范数记忆于ANN的特定记忆装置中。在第一实施例中，改进的ANN配备有一个对所有神经元都是公共的用于记忆所有分量范数的全局记忆体。对于输入模型的每个分量，神经元在完成距离估计过程中的基本的(或部分的)计算中可以在就地存储于神经元中的本地分量范数和存于全局记忆体中的全局分量范数之间进行选择。然后使用一个“距离”范数将基本计算组合起来以便确定输入模型与每个所存原型之间的最后距离。在第二实施例中，该组分量范数记忆于神经元本身内。当ANN集成于一片芯片内时，此实施方式允许明显地使占用的硅面积优化。因此神经元的原型分量记忆装置适用于实现全局记忆体功能从而在物理上不再需要专门的全局记忆体。
在所附权利要求书中提出了认为是本发明的特性的新颖特征。然而结合附图参照阅读以下详细的说明书，将能更好地理解本发明本身以及这些和其他相关目的和本发明的优点。
附图说明
图1原理性地显示一个改进的人工神经网络(ANN)的框体系结构，该人工神经网络包括根据本发明的一个用于记忆与输入模型/所存原型相关联的一组分量范数的全局记忆体和多个神经元。
图2是用于归纳本发明的方法的主要步骤的流程图。
图3显示限于一个神经元的图1的框体系结构，用于阐述全局记忆体的内部组成和神经元的主要元素。
图4阐述图1中改进的ANN的操作，用于指出用于计算输入模型与所存原型之间的最后距离的距离估计过程中地址总线的作用，其中输入模型/所存原型的每个分量可能具有不同范数。
图5显示通过实施相应数量的全局记忆体的已经适合于使用数个上下文的图1中改进的ANN的体系结构。
图6显示根据本发明的已经修改为增加内部地实现全局记忆体功能的能力的图3的神经元。
图7显示图1中改进的ANN的框体系结构，其中当该改进的ANN集成于一片芯片中时该改进的ANN包括图6的神经元以便使占用的硅面积优化。
图8阐述当不实施任何上下文时图7中改进的ANN的操作，尤其是功能标志寄存器的作用。
图9阐述当实施一个上下文时图7中改进的ANN的操作，尤其是功能标志寄存器的作用。
实施方式
本发明的基本原理是使用一个与距离估计过程中输入模型/所存原型的每个分量相关联的范数(即如以上所述的运算符)。此范数(对于每个分量它可能都不同)此处以下称为“分量”范数或简单地称为C_norm。C_norm或者就地存于神经元内或者存于对于所有ANN都是公共的“全局记忆体”内。在此情况下，全局记忆体记忆全组C-norm，以便对于预定输入模型分量而言，相同范数与所有神经元都是关联的。在第一情况下C_norm标为“本地C_norm”，而在第二情况下标为“全局C_norm”，或者分别简称为L_C_norm和G_C_norm。当将一个输入模型与神经元中的一个所存原型进行比较时，使用与每一对相应的分量(Ak，Bk)相关联的C_norm对每一对相应的分量(Ak，Bk)所作的处理操作将能提供一个基本的(或部分的)距离值。使用称为“距离”范数的第二范数把为每个分量获取的基本距离值组合起来以便提供一个最后距离值。例如，在L1范数中，C_norm是“绝对值”运算符以及该距离范数是“相加”运算符。在Lsup范数中，如果C_norm仍然是“绝对值”运算符，则现在距离范数是“最大值”运算符。取决于分量和距离范数的特性，该最后值可以考虑为或者是纯算术意义上的距离(例如如果使用L1或Lsup范数的话)或者不是。然而，为了对于以上所述的US专利的阐述简便起见，将在下面描述中使用的名词“距离”和“范数”必须被理解为通用的。换言之，输入向量和所存原型之间的比较的结果值也将称为“距离”，即使它无法全部满足算术定义的所有准则也是如此。以下将参照所述“距离”范数进行描述，当所述“距离”范数就地存于每个神经元中时，它简单地标为L_D_norm，当它对ANN的所有神经元是公共时，它标为G_D_norm。
主要地，全局记忆体(通常是一组寄存器)是一个独立记忆体。以下此处描述的新颖解法既不增加硅芯片上输入/输出接点(I/O)的数量，又不要求主计算机中的特定数据预处理(在识别阶段)。此外，与所有神经元中存在的原型分量记忆装置即放置于组成ANN的神经元中的所有原型记忆体的总和相比较，所加记忆体数量非常小。其结果是，此原理能够实施而不增加(1)主计算机中数据的预处理时间，(2)估计/记忆装置的复杂程度，和(3)用于集成ANN的硅芯片中I/O的数量。此外，通过专用一个神经元(或更多个)以实现此记忆体功能可以进一步使硅区域优化，这将在以后更详细地加以解释。
图1原理性地显示根据本发明的第一实施例的改进的人工神经网络(ANN)10的框体系结构。ANN 10由一个ANN 11和刚才所述的标为12的全局记忆体组成。全局记忆体12设计为用于存储p个分量范数(即每个分量一个)。从主计算机或控制逻辑电路(未示出)输入的数据通过作为标准的数据输入总线13馈送入ANN 11。ANN 11由通常标为14的多个独立的神经元14-1至14-n组成。在图1中所示具体实施方式中，神经元14基本上是一个只是稍加修改的传统ZISC神经元。在图1中，每个神经元例如14-1包括一个距离估计器15-1和一个用于存储原型分量的通常称为原型记忆体的本地记忆体16-1。距离估计器15-1通过数据输入总线13连至主计算机和连至其原型记忆体16-1以便完成输入模型与所存原型之间的距离估计，即通过处理作为标准的每对相应的分量而计算基本距离。它还包括寄存器17-1和18-1以便分别记忆用于完成此基本距离计算的L_C_norm和L_D_norm。一个选代方案是具有一个对于整个ANN 10都是公共的用于通过一条专用总线向每个神经元14馈送G_D_norm的单个寄存器。在说明的现阶段，ANN 11的体系结构和神经元14-1的体系结构(如果我们排除寄存器17-1)实际上是以上所述的美国专利中详细地描述的那种。然而，对于该文档而言，ZISC神经元的结构已经稍微修改以便考虑到现在标为15-1的通过标为G_C_norm总线19的总线连至全局记忆体12和连至所述寄存器17-1的距离估计器。此外，标为20的地址总线不但如ZISC芯片中实现的那样连至放置于每个神经元14-1至14-n中的原型记忆体，而且连至全局记忆体12以使与每个输入模型分量相关联的相应的范数能够从中输出。
应该注意到能够将数个改进的ANN组合为单个ANN，它因而或者包括数个全局记忆体(每个改进的ANN各一个)或者所有ANN只包括一个全局记忆体。另一方面，还可设计一种改进的ANN 10，其中在每个神经元中复现全局记忆体功能以便为存于其中的原型来记忆各具体C_norm。
仍然参照图1，改进的ANN 10的操作原理相对地比较简单。为阐述方便起见，假设全局记忆体12由作为标准的一组寄存器构造而成。使用以下假设，即输入模型分量是以顺序方式提供给改进的ANN 10的，每当主计算机通过数据输入总线13提供一个输入模型分量至改进的ANN时，它指向全局记忆体12中的确定的地址以便输出相应的G_C_norm以及通过地址总线20指向所有原型记忆体16-1至16-n中的确定的地址以便选择相应的原型分量。其结果是，在每个神经元14中，对应于该地址的G_C_norm(或L_C_norm)、所存原型分量和输入模型分量可同时用于距离估计器15中。每个神经元14然后使用相关联的G_C_norm(或L_C_norm)完成输入模型分量与相应的所存原型分量之间的基本的(或部分的)距离计算。将基本距离组合以便使用作为标准的所选L_D_norm来更新距离。此过程顺序地继续下去，直至所有输入模型的分量都已经处理过并且获得最后距离值。
应该理解，当输入模型分量以并行方式提供给改进的ANN 10时，可以使用相同方法。用于实施本发明的又一个方式也可是将G_C_norm与主计算机中的输入模型分量关联起来以便一起馈送至改进的ANN10。在此情况下，可以将全局记忆体功能嵌埋于主计算机本身之内。然而，此解决方法在此处并不详细，因为它具有某些缺点，尤其是它将显著地增加主计算机的处理时间和/或I/O的数量。
图2显示用于归纳这些处理步骤的流程图。
图3显示图1中限于全局记忆体和只一个神经元的体系结构。具体地它显示用于记忆G_C_nrom和第一神经元14-1的主要元素的全局记忆体的内部组织，第一神经元基本上是一个现在根据本发明的原理修改的ZISC神经元。
全局记忆体12的内部组织原理性地显示于图3左侧。如图3中显然可见的，有对应于输入模型/所存原型的p个分量的p个记忆体位置，该输入模型/所存原型被一个由主计算机通过地址总线20所发送的地址(地址1至地址p)进行访问。在每个记忆体位置处存储着与一个地址相关联的G_C_norm的编码值。两个连续的地址可能表示或者是相同运算符或者是两个不同运算符。在后一种情况下，存于addr 1和addr 2处的范数G_C_norm 1和G_C_norm 2可以分别是例如差值的绝对值和匹配/不匹配运算符。
现在回至图3的右侧，其中更详细地显示神经元14-1的主要元素。距离估计器15-1首先包括框21-1、22-1和23-1。框21-1标为C_dist eval，因为它完成一对相应的分量的即相同秩的分量的基本距离计算。此框通过数据输入总线13连至主计算机以及连至原型记忆体16-1。标为D_dist eval的框22-1由表示存于寄存器18-1中的距离范数(例如在Lsup范数的情况下的“最大值”运算符)的运算符所控制，以及当分量的计数增加时，用计算的基本距离(部分结果)来更新距离。当所有分量都已处理完后，标为dist寄存器的框23-1将最后距离存储起来。距离估计器15-1、原型记忆体16-1(通过地址总线20连至主计算机)和用于记忆L_D_norm的寄存器18-1实际上与以上所述美国专利中给出的描述兼容。现在根据本发明的距离估计器15-1还包括一个双向多路复用器24-1，它一方面连至寄存器17-1，另一方面连至G_C_norm总线19。多路复用器由存于范数状态寄存器25-1中的一个状态位进行控制以便选择准备施加于框21-1的控制输入端上的L_C_norm或G_C_norm。然而，L_C_norm寄存器17-1、1位范数状态寄存器25-1和多路复用器24-1并非是必要的框，C_dist eval 21-1能够直接由存于全局记忆体12内的G_C_范数通过总线19进行控制。
每当一个输入模型分量由主计算机通过数据输入总线13送至神经元14-1时，存于与其相关联的全局记忆体中的G_C_norm(在由主计算机定义的地址处)也同时通过G_C_norm总线10传输至改进的神经元14-1。就地存于原型记忆体16-1中的原型分量(对应于该地址的)是直接可用的。这是在主计算机控制下完成全局记忆体12和作为标准的原型记忆体16-1两者的寻址功能的地址总线20的作用。现在，取决于存于用于控制多路复用器24-1的1位范数状态寄存器25-1中的二进制值，可以或者选择记忆于寄存器17-1中的L_C_norm或者选择存于全局记忆体12中的G_C_norm。所选范数在完成所考虑的一对分量的基本距离计算中用于控制框21-1。然后使用存于L_D_norm寄存器18-1中的L_D_norm，在框22-1中更新输入模型与所存原型之间的距离，以及如同在ZISC神经元中所实现的，通过一个循环过程继续执行距离估计过程，直至已经处理输入模型的所有分量和已经估计最后距离“dist”并且将它记忆于寄存器23-1中。应该注意，不像ZISC ANN那样其中只能使用L1或Lsup范数来获取最后距离，现在不再存在这类限制，本发明的改进的ANN 10在这方面提供多得更多的灵活性。
现在参照图4更详细地描述作为本发明主要特征的图1的改进的ANN 10的操作，具体的是对输入模型分量和具有与其相关联的C_norm的所存原型分量同时进行处理的原理。对于每个输入模型分量，主计算机(或控制逻辑)发出一个地址以便用于同时访问全局记忆体12中相关联的G_C_norm和相应的所存原型分量。我们给出一个实际例子。第一地址(addr 1)在全局记忆体12的第一位置选择G_C_norm和如图4a中所示的神经元14-1至14-n的每个原型记忆体16中的第一原型分量comp 1。因此当第一输入模型分量馈送入改进的ANN 10中时，G_C_norm 1和第一原型分量comp 1为第一基本距离计算而同时与其相关联。然后当第二输入模型分量馈送入改进的ANN 10时，它以相同方式与第二范数G_C_norm 2以及在如图4b中所示的地址addr 2处的第二原型分量comp 2相关联以便更新所述第一基本距离计算的部分结果。这些步骤被重复，直至已经处理最后输入模型分量。应该理解，如果在此例中各地址是连续的，它们也可以是随机地址而不需要任何实际硬件修改。
当不同类型的原型存于一个ANN中时，使用上下文即如上所述的赋予每个所存原型的具体标记来选择确定类型的原型。在此情况下，为每个分量使用一个G_C_norm可能是有用的，它将取决于上下文。改进的ANN 10的体系结构完全适用于满足此目的，因为有可能按照需要实施许多全局记忆体来记忆不同G_C_norm配置。
图5显示现在标为10′的图1的改进的ANN 10的变动方案，它已经适合于根据本发明的另一个显著特征通过实施两个上下文来处理两组G_C_norm而不是一组。通过也用于启动改进的ANN 10′中的合适的神经元组的上下文来选择一组确定的G_C_norm组。现在转向图5，改进的ANN 10′包括两个标为12-1和12-2的全局记忆体(为与以上所述兼容)和多个仍然标为14-1和14-n的神经元。一个称为上下文总线26的附加总线将一个用于在主计算机中(或控制逻辑中)存储全局上下文的全局上下文寄存器连至称为选择单元的专用框。这些选择单元分别标为全局记忆体12-1和12-2中的27-1和27-2以及神经元14-1和14-2中的28-1和28-n。应该注意，在ZISC神经元中早已存在类似的用于上下文实施的选择单元(为简明起见图1和3中未在神经元14中表示它们)。在图5中，全局记忆体和神经元与图1的相应的框12和14的区别只在于选择单元的增加。主要地，选择单元27或28包含一个用于存储本地上下文的寄存器和一个用于完成由主计算机所选全局上下文与本地上下文之间的比较操作的比较器。取决于该比较的结果，只启动一组确定的神经元组，同时禁止其他神经元。改进的ANN 10′的体系结构不限于如图5所示的两个上下文的实施，它给予电路设计人员以大的灵活性。改进的ANN 10′的操作与以上参照图4a和4b描述的改进的ANN 10基本上相同。
然而，G_C_norm记忆装置(在图5的情况下是两个全局记忆体12-1和12-2)可以加以优化以便避免实施与上下文一样多的全局记忆体。在某些情况下，当记忆体并未全部利用时或当它们实际上并非全都必要时，避免记忆体的浪费可能是值得的。可以根据本发明的另一个显著特征来满足此目的，就是使一个神经元14(或更多)专用于记忆G_C_norm而不是如同已经实现的那样使用原型分量。其结果是，在物理上不再需要全局记忆体12，它的功能有效地由这一专用神经元实现。最后，一个称为功能标志位的新标志位被赋予每个神经元以便给出其功能：G_C_norm记忆化或原型分量记忆化。在第一种情况下，只利用神经元的记忆体和上下文选择功能，而在第二种情况下，它用作完成距离估计的标准。
转向图6，现在标为14′-1的改进的神经元具有一个内部结构，它直接从图1的一个神经元14-1中导得。以上所述的功能标志位存于标为29-1的功能标志寄存器中，功能标志寄存器29-1用于控制选择器30-1。取决于功能标志位的值，选择器30-1或者向C-dist估计器21-1提供一个原型分量，或者向G_C_norm总线19传输一个G_C_norm以供与其连接的所有所选神经元加以利用。因此，神经元14′-1具有两个操作模型。在第一模型中，神经元14′-1犹如神经元14-1一样地工作，而在第二模型中它起着全局记忆体12的作用(唯一的代价是增加功能标志寄存器29-1和选择器30-1)。因而，神经元14′-1中的原型记忆体16-1现在适用于存储两类不同类型的数据：原型分量或G_C_norm。
图7显示当图6的改进的神经元根据本发明用于记忆G_C_norm时图1的改进的ANN 10的体系结构。这个标为10′的变动方案允许减少为实现G_C_norm记忆化所需记忆体的数量。在图7中，图6的神经元14′-1中所示某些电路框已经合并为一个标为原型单元31-1的单元。由于其选择单元(对于上下文)及其功能标志寄存器(对于其操作模型)的帮助，选择包含G_C_norm的专用神经元。每当一个输入模型分量馈送入改进的ANN 10′时，记忆于原型单元中的合适的G_C_norm即被输出和与其相关联，以便用于ANN 10′的所有其他剩余神经元中的距离估计。
现将参照图8和9阐述图7的改进的ANN 10′的操作。图8阐述不需要专用一个改进的神经元来存储G_C_norm的情况。在此情况下，所有功能标志寄存器保持一个零值以及所有神经元14′都按照标准操作，缺省范数(例如L1)则用于距离估计。
当使用单个上下文和当需要不同G_C_norm用于输入模型分量时，只需要一个改进的神经元来完成此任务。现在转向图9，假设改进的神经元14′-1专用于记忆G_C_norm，其功能标志寄存器29-1设置为1。其结果是，其原型单元31-1的记忆化装置用于存储G_C_norm而禁止其距离估计器15-1。这可以推广至数个上下文。由于许多改进的神经元是不同的上下文，它们专用于G_C_norm记忆化任务，即它们的功能标志寄存器设置为1和它们的记忆化装置只用于记忆G_C_norm。
以上所述方法甚至可以进一步推广至并行计算机系统中的距离估计。
虽然已经相对于本发明的优选实施例具体地描述了本发明，专业人员应该理解，可以在不背离本发明的实质和范围的情况下在形式和细节上作出以上和其他改变。

Claims (11)

1.一种改进的ANN，在估计输入模型与存于ANN的神经元中的原型之间的最后距离的过程中，用于将一个分量范数(C_norm)与具有p个分量的输入模型中的每个分量关联起来，所述改进的ANN包括：
-数据输入传输装置，用于施加输入模型分量于每个神经元；
-全局记忆化装置，用于存储p个分量范数和施加所述p个分量范数于每个神经元；
-多个n个神经元；每个神经元包括：
--一个原型记忆体，用于存储一个原型的p个分量；及
--连至所述原型记忆体、连至所述全局记忆化装置和连至所述数据输入传输装置的距离估计装置；
-寻址装置，用于同时将输入模型分量、相应的与其相关联的分量范数和相应的所存原型分量施加于每个神经元中的所述距离估计装置上；
-用于将距离范数(D_norm)施加于距离估计装置上的装置；
其中所述距离估计装置适合于使用与其相关联的相应分量范数来执行输入模型的相应的分量与所存原型之间的基本的(或部分的)距离计算和适合于组合距离估计过程中的所述基本计算以便使用距离范数(D_norm)来确定最后距离。
2.权利要求1的改进的ANN，其中所述全局记忆化装置包含一个对ANN的所有神经元都是公共的用于记忆称为全局分量范数(G_C_norm)的分量范数的物理记忆体。
3.权利要求1的改进的ANN，其中所述全局记忆化装置包含一个放置于每个神经元中用于记忆称为本地分量范数(L_C_norm)的分量范数的专用记忆体。
4.权利要求1的改进的ANN，其中所述全局记忆化装置包含一个对ANN的所有神经元都是公共的用于记忆称为全局分量范数(G_C_norm)的分量范数的物理全局记忆体和多个放置于每个神经元中用于记忆称为本地分量范数(L_C_norm)的分量范数的专用记忆体。
5.权利要求4的改进的ANN，还包括用于或者选择G_C_norm或者选择L_C_norm以便用作C_norm的装置。
6.权利要求1的改进的ANN，其中所述用于施加距离范数(D_norm)的装置或者包含一个对所有神经元都是公共的寄存器(G_D_norm)或者在每个神经元内包含一个本地寄存器(L_D_norm)。
7.一种改进的ANN，在估计输入模型与适合于划分为对应于m个不同全局上下文的m组神经元的ANN的神经元中所存的原型之间的最后距离的过程中，适用于将一个分量范数(C_norm)与具有p个分量的输入模型中的每个分量关联起来，所述改进的ANN包括：
-数据输入传输装置，用于施加输入模型分量于每个神经元；
-上下文传输装置，用于施加全局上下文于每个神经元；
-连至所述上下文传输装置的多个m个全局记忆化装置，适用于存储p个具有确定的上下文的分量范数以及通过一条C_norm总线施加所述p个分量范数于每个神经元；每个全局记忆化装置包括：
-一个用于存储p个分量范数的记忆体；及
-用于存储本地上下文的装置以及响应于全局上下文和适用于与存于其中的本地上下文进行比较以便只启动其本地上下文与全局上下文匹配的神经元而禁止其他神经元的装置；
-多个n个神经元；每个神经元包括：
    ——一个原型记忆体，用于存储一个原型的p个分量；及
    ——连至所述原型记忆体、连至所述全局记忆化装置和连至所述数据输入传输装置的的距离估计装置；
    ——用于存储本地上下文的装置以及响应于全局上下文和适用于与存于其中的本地上下文进行比较以便只启动其本地上下文与全局上下文匹配的神经元而禁止其他神经元的装置；
-寻址装置，用于同时将输入模型分量、相应的与其相关联的分量范数和相应的所存原型分量施加于每个神经元中的所述距离估计装置；
-用于将距离范数(D_norm)施加于距离估计装置上的装置；
其中所述距离估计装置适合于使用与其相关联的相应分量范数来完成输入模型的相应分量与所存原型之间的基本的(部分的)距离计算和适合于组合距离估计过程中的所述基本计算以便使用距离范数(D_norm)来确定最后距离。
8.一种改进的ANN，在估计输入模型与存于ANN的神经元中的原型之间的最后距离的过程中，适用于将一个分量范数(C_norm)与具有p个分量的输入模型中的每个分量关联起来，所述改进的ANN包括：
-数据输入传输装置，用于施加输入模型分量于每个神经元；
-多个n个神经元；每个神经元包括：
    ——一个能够或者存储原型的p个分量或者存储p个分量范数以及通过一条C_norm总线施加所述p个分量范数于每个神经元的记忆体；
    ——适合于或者施加原型分量于距离估计装置(标准模型)或者通过C_norm总线施加p个分量范数于每个神经元(C_norm模型)的装置；
    ——适合于选择任何一个模型的装置；及
    ——连至所述原型记忆体、连至所述全局记忆化装置和连至所述数据输入传输装置的的距离估计装置；
    ——用于存储本地上下文的装置以及响应于全局上下文和适用于与存于其中的本地上下文进行比较以便只启动其本地上下文与全局上下文匹配的神经元而禁止其他神经元的装置；
-寻址装置，用于同时将输入模型分量、相应的与其相关联的分量范数和相应的所存原型分量施加于每个神经元中的所述距离估计装置；
-用于将距离范数(D_norm)施加于距离估计装置上的装置；
其中所述距离估计装置适合于使用与其相关联的相应分量范数来完成输入模型的相应分量与所存原型之间的基本的(部分的)距离计算和适合于组合距离估计过程中的所述基本计算以便使用距离范数(D_norm)来确定最后距离。
9.一种改进的ANN，在估计输入模型与适合于划分为对应于m个不同全局上下文的m组神经元的ANN的神经元中所存原型之间的最后距离的过程中，适用于将一个分量范数(C_norm)与具有p个分量的输入模型中的每个分量关联起来，所述改进的ANN包括：
-数据输入传输装置，用于施加输入模型分量于每个神经元；
-多个n个神经元；每个神经元包括：
    ——一个能够或者存储原型的p个分量或者存储p个分量范数以及通过一条C_norm总线施加所述p个分量范数于每个神经元的记忆体；
    ——适合于或者施加原型分量于距离估计装置(标准模型)或者通过C_norm总线施加p个分量范数于每个神经元(C_norm模型)的装置；
    ——适合于选择任何一个模型的装置；及
    ——连至所述原型记忆体、连至所述全局记忆化装置和连至所述数据输入传输装置的的距离估计装置；
    ——用于存储本地上下文的装置以及响应于全局上下文和适用于与存于其中的本地上下文进行比较以便只启动其本地上下文与全局上下文匹配的神经元而禁止其他神经元的装置；
-寻址装置，用于同时将输入模型分量、相应的与其相关联的分量范数和相应的所存原型分量施加于每个神经元中的所述距离估计装置上；
-用于将距离范数(D_norm)施加于距离估计装置上的装置；
其中所述距离估计装置适合于使用与其相关联的相应分量范数来完成输入模型的相应分量与所存原型之间的基本的(部分的)距离计算和适合于组合距离估计过程中的所述基本计算以便使用距离范数(D_norm)来确定最后距离。
10.一种方法，在使用距离范数来估计存于一个外部(主)记忆体内的输入模型(具有p个分量)与人工神经网络(ANN)的每个神经元的原型之间的最后距离的过程中，用于将一个分量范数与所述输入模型中的每个分量关联起来以及与存于n个神经元内的所有原型的相应分量关联起来，所述方法包括以下步骤：
a)为每个神经元将最后距离复位为零；
b)指向对应于一个分量的地址；
c)将对应于该地址的输入模型分量提供给每个神经元；
d)获取对应于该地址的分量范数；
e)使用每个神经元的分量范数来计算基本距离；
f)使用每个神经元的距离范数来更新距离；
g)重复步骤b)至f)，直至已经处理过所有p个分量，从而允许为每个神经元估计最后距离。
11.一种方法，在使用距离范数来估计存于一个外部(主)记忆体内的输入模型(具有p个分量)与人工神经网络(ANN)的每组具有一个确定的上下文的至少一组的每个神经元的原型之间的最后距离的过程中，用于将一个分量范数与所述输入模型的每个分量关联起来以及与划分为每组具有确定的上下文的多组m组的n个神经元内存储的至少一组原型的相应分量关联起来，所述方法包括以下步骤：
a)设置一个上下文值；
b)为每个具有此上下文值的神经元将最后距离复位为零；
c)指向对应于一个分量的地址；
d)将对应于该地址的输入模型分量提供给每个具有此上下文值的神经元；
e)获取对应于该地址的分量范数；
f)使用每个所述具有此上下文值的神经元的分量范数来计算基本距离；
g)使用每个所述具有此上下文值的神经元的距离范数来更新距离；
h)重复步骤c)至g)，直至已经处理过所有p个分量，从而允许为每个所述具有此上下文值的神经元估计最后距离。
CNB011228644A 2000-07-13 2001-07-12 用于将范数与提供给神经网络的输入模型的每个分量相关联的方法和电路 Expired - Fee Related CN1228736C (zh)

Applications Claiming Priority (2)

Application Number Priority Date Filing Date Title
EP00480064 2000-07-13
EP00480064.5 2000-07-13

Publications (2)

Publication Number Publication Date
CN1333518A true CN1333518A (zh) 2002-01-30
CN1228736C CN1228736C (zh) 2005-11-23

Family

ID=8174249

Family Applications (1)

Application Number Title Priority Date Filing Date
CNB011228644A Expired - Fee Related CN1228736C (zh) 2000-07-13 2001-07-12 用于将范数与提供给神经网络的输入模型的每个分量相关联的方法和电路

Country Status (6)

Country Link
US (1) US6782373B2 (zh)
KR (1) KR100406315B1 (zh)
CN (1) CN1228736C (zh)
CA (1) CA2351040A1 (zh)
IL (1) IL140143A (zh)
TW (1) TW538381B (zh)

Cited By (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106068519A (zh) * 2014-02-28 2016-11-02 高通股份有限公司 用于共用神经元模型的高效实现的方法和装置
US11586920B2 (en) 2015-05-21 2023-02-21 Google Llc Neural network processor

Families Citing this family (2)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US8027942B2 (en) * 2000-12-13 2011-09-27 International Business Machines Corporation Method and circuits for associating a complex operator to each component of an input pattern presented to an artificial neural network
US7016884B2 (en) * 2002-06-27 2006-03-21 Microsoft Corporation Probability estimate for K-nearest neighbor

Family Cites Families (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
DE69430870T2 (de) * 1994-07-28 2003-03-13 International Business Machines Corp., Armonk Innovative Neuronalschaltungsarchitektur
EP0694855B1 (en) * 1994-07-28 2002-05-02 International Business Machines Corporation Search/sort circuit for neural networks
US6134532A (en) * 1997-11-14 2000-10-17 Aptex Software, Inc. System and method for optimal adaptive matching of users to most relevant entity and information in real-time
US6347309B1 (en) * 1997-12-30 2002-02-12 International Business Machines Corporation Circuits and method for shaping the influence field of neurons and neural networks resulting therefrom

Cited By (4)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
CN106068519A (zh) * 2014-02-28 2016-11-02 高通股份有限公司 用于共用神经元模型的高效实现的方法和装置
CN106068519B (zh) * 2014-02-28 2018-12-18 高通股份有限公司 用于共用神经元模型的高效实现的方法和装置
US11586920B2 (en) 2015-05-21 2023-02-21 Google Llc Neural network processor
TWI825596B (zh) * 2015-05-21 2023-12-11 美商谷歌有限責任公司 用於執行類神經網路計算之電路、方法及非暫時性機器可讀儲存裝置

Also Published As

Publication number Publication date
KR20020006586A (ko) 2002-01-23
TW538381B (en) 2003-06-21
CN1228736C (zh) 2005-11-23
US20020059150A1 (en) 2002-05-16
KR100406315B1 (ko) 2003-11-17
IL140143A0 (en) 2002-02-10
IL140143A (en) 2005-08-31
US6782373B2 (en) 2004-08-24
CA2351040A1 (en) 2002-01-13

Similar Documents

Publication Publication Date Title
CN111095302B (zh) 稀疏深度卷积网络权重的压缩
KR102139740B1 (ko) 전자 장치 및 학습 모델 최적화 방법
JP3407266B2 (ja) ニューラル・ネットワークおよびニューラル・チップ
US8463722B2 (en) Implementing a neural associative memory based on non-linear learning of discrete synapses
JP3177133B2 (ja) 集合回路
JP3407265B2 (ja) ニューロン回路
JPH08171543A (ja) デイジー・チェーン回路
US6523018B1 (en) Neural chip architecture and neural networks incorporated therein
JPH08171542A (ja) 事前装填回路
Zambrano et al. Efficient computation in adaptive artificial spiking neural networks
CN1228736C (zh) 用于将范数与提供给神经网络的输入模型的每个分量相关联的方法和电路
US6502083B1 (en) Neuron architecture having a dual structure and neural networks incorporating the same
Hadikhani et al. Improved data clustering using multi-trial vector-based differential evolution with Gaussian crossover
JP2002519747A (ja) ｎ項組又はＲＡＭベース・ニューラルネットワーク分類システム及び方法
JPH0822446A (ja) ニューラルネットワーク回路
US20020073053A1 (en) Method and circuits for associating a complex operator to each component of an input pattern presented to an artificial neural network
KR20040014577A (ko) 인공 신경망에서 프로토타입의 수를 실질적으로증가시키는 방법 및 그 회로
EP1172763A2 (en) Method and circuits for associating a norm to each component of an input pattern presented to a neural network
CN110163352B (zh) 电路规划结果产生方法与系统
Vivek et al. Feature subset selection for big data via Chaotic Binary Differential Evolution under Apache Spark
Xiao et al. Optimizing consistency-based design of context-sensitive gene regulatory networks
JPH06290047A (ja) ファジイ推論のｍｉｎ−ｍａｘ 演算回路
CN112633489B (zh) 一种查找表lut的合并方法、装置及设备
JP2633161B2 (ja) ファジイ推論のｍｉｎ−ｍａｘ 演算回路
CN117275583B (zh) 基于量子技术的基因搜索blast加速方法及系统

Legal Events

Date Code Title Description
C10 Entry into substantive examination
SE01 Entry into force of request for substantive examination
C06 Publication
PB01 Publication
C14 Grant of patent or utility model
GR01 Patent grant
C17 Cessation of patent right
CF01 Termination of patent right due to non-payment of annual fee

Granted publication date: 20051123