CN103548042B - 用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备 - Google Patents

用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备 Download PDF

Info

Publication number
CN103548042B
CN103548042B CN201280024956.4A CN201280024956A CN103548042B CN 103548042 B CN103548042 B CN 103548042B CN 201280024956 A CN201280024956 A CN 201280024956A CN 103548042 B CN103548042 B CN 103548042B
Authority
CN
China
Prior art keywords
circuit
weight
output
rgc
symbol
Prior art date
Legal status (The legal status is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the status listed.)
Active
Application number
CN201280024956.4A
Other languages
English (en)
Other versions
CN103548042A (zh
Inventor
V·阿帕林
Current Assignee (The listed assignees may be inaccurate. Google has not performed a legal analysis and makes no representation or warranty as to the accuracy of the list.)
Qualcomm Inc
Original Assignee
Qualcomm Inc
Priority date (The priority date is an assumption and is not a legal conclusion. Google has not performed a legal analysis and makes no representation as to the accuracy of the date listed.)
Filing date
Publication date
Application filed by Qualcomm Inc filed Critical Qualcomm Inc
Publication of CN103548042A publication Critical patent/CN103548042A/zh
Application granted granted Critical
Publication of CN103548042B publication Critical patent/CN103548042B/zh
Active legal-status Critical Current
Anticipated expiration legal-status Critical

Links

Classifications

    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G—PHYSICS
    • G06—COMPUTING; CALCULATING OR COUNTING
    • G06N—COMPUTING ARRANGEMENTS BASED ON SPECIFIC COMPUTATIONAL MODELS
    • G06N3/00—Computing arrangements based on biological models
    • G06N3/02—Neural networks
    • G06N3/06—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons
    • G06N3/063—Physical realisation, i.e. hardware implementation of neural networks, neurons or parts of neurons using electronic means
    • G06N3/065—Analogue means

Landscapes

  • Engineering & Computer Science (AREA)
  • Physics & Mathematics (AREA)
  • Health & Medical Sciences (AREA)
  • Life Sciences & Earth Sciences (AREA)
  • Biomedical Technology (AREA)
  • Biophysics (AREA)
  • Theoretical Computer Science (AREA)
  • Evolutionary Computation (AREA)
  • General Engineering & Computer Science (AREA)
  • Data Mining & Analysis (AREA)
  • Artificial Intelligence (AREA)
  • General Health & Medical Sciences (AREA)
  • Molecular Biology (AREA)
  • Computing Systems (AREA)
  • Computational Linguistics (AREA)
  • General Physics & Mathematics (AREA)
  • Mathematical Physics (AREA)
  • Software Systems (AREA)
  • Neurology (AREA)
  • Image Analysis (AREA)
  • Image Processing (AREA)
  • Heterocyclic Carbon Compounds Containing A Hetero Ring Having Oxygen Or Sulfur (AREA)
  • Measuring Or Testing Involving Enzymes Or Micro-Organisms (AREA)

Abstract

本公开的某些方面呈现了一种用于对初级视皮层（V1）简单细胞和其他神经电路的输入突触进行无监督训练的技术。所提出的无监督训练方法利用视网膜神经节细胞（RGC）层和V1层两者的简单神经元模型。该模型简单地加总每一细胞的加权输入，其中这些输入可具有正值或负值。所得的输入加权总和代表激活，这些激活也可以是正的或负的。在本公开的一方面，每一个V1细胞的各权重可取决于相对应的RGC输出的符号以及该V1细胞的激活的符号在增加该激活的绝对值的方向上来调节。这些RGC到V1权重可以是正的和负的以分别对ON RGC和OFF RGC进行建模。

Description

用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和 设备
技术领域
本发明涉及神经电路，尤其涉及对神经电路的输入突触进行无监督训练。
背景技术
领域
本公开的某些方面一般涉及神经系统工程，更具体地涉及用于对初级视皮层细胞和其他神经电路的输入突触进行无监督训练的方法和设备。
背景
图像识别和运动检测系统可被划分为基于机器视觉(即，人工智能(AI))技术的系统以及利用视皮层技术(即，生物学似真系统)的系统。机器视觉系统具有制定完善的训练方法，但具有较差的识别准确性。例如，对狗与猫进行区分对于机器视觉系统而言仍然是具有50/50结果的具有挑战性的任务。
另一方面，生物学似真系统使用人类视皮层结构。基于这些系统的各种方法有望比机器视觉系统更准确。然而，用于生物学似真系统的、导致其自组织的训练方法并未开发健全。这是由于对视皮层组织和自训练方法的了解贫乏所导致的。
发明内容
本公开的某些方面提供一种电路。该电路一般包括：多个视网膜神经节细胞(RGC)电路，其中这些RGC电路中的每一个RGC电路在输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和；多个初级视皮层细胞(V1)电路，其中这些V1电路中的每一个V1电路生成这些RGC电路的子集的加权输出的另一总和；以及被配置成调节对用以生成该另一总和的各输出施加的权重的电路，其中对这些权重之一的调节基于以下各项中的至少一者：这些输出之中被施加以该权重的一个输出或者该另一总和。
本公开的某些方面提供一种用于实现神经系统的方法。该方法一般包括：在该神经系统中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处，生成来自与该RGC电路相关联的各受体电路的加权输入的总和；由该神经系统中的多个初级视皮层细胞(V1)电路中的每一个V1电路生成这些RGC电路的子集的加权输出的另一总和；以及调节对用以生成该另一总和的各输出施加的权重，其中对这些权重之一的调节基于以下各项中的至少一者：这些输出之中被施加以该权重的一个输出或者该另一总和。
本公开的某些方面提供了一种设备。该设备一般包括：用于在该设备中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和的装置；用于由该设备中的多个初级视皮层细胞(V1)电路中的每一个V1电路生成这些RGC电路的子集的加权输出的另一总和的装置；以及用于调节对用以生成该另一总和的各输出施加的权重的装置，其中对这些权重之一的调节基于以下各项中的至少一者：这些输出中被施加以该权重的一个输出或者该另一总和。
附图说明
为了能详细地理解本公开的上述特征所用的方式，可以参照各方面来对以上简要概述的内容进行更具体的描述，其中一些方面在附图中解说。然而应该注意，附图仅解说了本公开的某些典型方面，故不应被认为限定其范围，因为本描述可以允许有其他等同有效的方面。
图1解说根据本公开的某些方面的示例神经系统。
图2解说了根据本公开的某些方面的与不同类型的视网膜神经节(RG)细胞连接的受体的示例模型。
图3解说了根据本公开的某些方面的与RG细胞连接的受体的示例模型，其中该RG细胞取决于连接该RG细胞和初级视皮层(V1)细胞的突触的符号而可能为ON(开)细胞或OFF(关)细胞。
图4解说了根据本公开的某些方面的在各受体与RG细胞之间的连接的示例模型以及在各RG细胞与V1细胞之间的连接的示例模型。
图5解说了根据本公开的某些方面的可在神经系统处执行的用于训练各RG细胞与V1细胞之间突触权重的示例操作。
图5A解说能够执行图5中解说的操作的示例组件。
具体实施方式
以下参照附图更全面地描述了本公开的各个方面。然而，本公开可用许多不同的形式实施并且不应解释为被限定于本公开通篇所给出的任何特定结构或功能。确切而言，提供这些方面使得本公开将是透彻和完整的，并使得本公开将向本领域技术人员完全传达本公开的范围。基于本文中的教导，本领域的技术人员应领会，本公开的范围旨在覆盖本文中所披露的本公开的任何方面，不论其是与本公开的任何其他方面相独立地还是组合地实现的。例如，可以使用本文所阐述的任何数目的方面来实现装置或实践方法。另外，本公开的范围旨在覆盖使用作为本文中所阐述的本公开的各种方面的补充或者与之不同的其他结构、功能性、或者结构及功能性来实践的此类装置或方法。应当理解，本文中所披露的本公开的任何方面可以由权利要求的一个或更多个元素来实施。
措辞“示例性”在本文中用于表示“用作示例、实例或解说”。本文中描述为“示例性”的任何方面不必被解释为优于或胜过其他方面。
尽管本文中描述了特定方面，但这些方面的众多变体和置换落在本公开的范围之内。虽然提到了优选方面的一些益处和优点，但本公开的范围并非旨在被限定于特定益处、用途或目标。相反，本公开的各方面旨在能宽泛地应用于不同的技术、系统配置、网络和协议，其中一些作为示例在附图以及以下对优选方面的详细描述中解说。详细描述和附图仅仅解说本公开而非限定本公开，本公开的范围由所附权利要求及其等效技术方案来定义。
示例神经系统
图1解说根据本公开的某些方面的具有多级神经元的示例神经系统100。神经系统100可包括神经元级102，该级神经元102通过突触连接网络104连接到另一级神经元106。为简单起见，图1中仅解说两级神经元，但在典型的神经系统中可以存在更多级神经元。
如图1所解说的，级102中的每一神经元可以接收可由前一级(图1中未示出)的多个神经元所生成的输入信号108。信号108可以表示级102的神经元的输入电流。该电流可以在神经元膜上累积以对膜电位进行充电。当膜电位达到其阈值时，该神经元可以激发并生成输出尖峰，该输出尖峰将被传递到下一级神经元(例如，级106)。
尖峰从一级神经元到另一级神经元的传递可以通过突触连接(或简称“突触”)网络104来实现，如图1所解说的。突触104可从级102的神经元接收输出信号(即，尖峰)，根据可调节突触权重来缩放那些信号(其中P是级102的神经元与级106的神经元之间的突触连接的总数)，并且将经缩放的信号组合为级106中的每一个神经元的输入信号。级106中的每个神经元可以基于对应的经组合的输入信号来生成输出尖峰110。随后可以使用另一突触连接网络(图1中未示出)将这些输出尖峰110传递到另一级神经元。
神经系统100可以通过电路来仿真并且可以在大范围的应用中使用，诸如图像和模式识别、机器学习、电机控制、及类似应用等。神经系统100中的每一神经元可被实现为神经元电路。被充电至发起输出尖峰的阈值的神经元膜可被实现为例如对流经其的电流进行积分的电容器。
在一方面，电容器作为神经元电路的电流积分设备可以被除去，并且可以使用较小的忆阻器(memristor)元件来替代之。这种办法可以应用于神经元电路中，以及其中大容量电容器被用作电流积分器的各种其他应用中。另外，突触104中的每一个可以基于忆阻器元件来实现，其中突触权重改变可以与忆阻器电阻的变化相关。使用纳米特征尺寸的忆阻器，可以显著地减小神经元电路和突触的面积，这可以使得实现超大规模神经系统硬件实现变得可行。
本公开提出了一种用于彩色视觉的初级视皮层(V1)细胞和视网膜神经节细胞(RGC)的简化结构，其中这些V1细胞和RGC可被实现为来自图1的神经系统100的神经元电路。在本公开的一方面，RGC可与神经元102相对应，而V1细胞可与神经元106相对应。
V1输入突触(例如，神经系统100的突触104)可要求以无监督方式被训练以实现简单细胞涌现。本公开提出了一种训练V1细胞层和RGC细胞层之间的连通性的高效方法，该方法可导致在V1层内自主形成特征检测器(简单细胞)。所提出的办法可使得能对图像识别和运动检测系统进行硬件高效的且生物学似真的实现。
所提出的无监督训练方法可对RGC层和V1层两者利用简单神经元模型。该模型简单地加总每一细胞的加权输入，其中这些输入可具有正值或负值。所得的输入加权总和被称为激活，其中这些激活也可以是正的或负的。在本公开的一方面，每一个V1细胞的各权重可取决于相对应的RGC输出的符号以及与该V1细胞相关联的激活的符号在增加该激活的绝对值的方向上来调节。这些V1权重可以是正的或负的。
所提出的突触权重训练方法可适于用软件和硬件的高效实现。而且，该方法运行起来可比依赖于尖峰定时的可塑性(STDP)训练办法快得多。
对初级视皮层细胞的输入突触的无监督训练方法
根据某些方面，RG细胞(RGC)可被划分为ON(开)细胞和OFF(关)细胞。ON细胞可以区分比背景亮的对象。例如，外围视觉全都基于ON细胞，从而人类能够更好地看见暗背景上的亮点。另一方面，RG OFF细胞可区分比背景暗的对象。应该注意，点亮包括RG ON细胞和RG OFF细胞两者的整个感受域对RGC激发速率具有有限影响。
图2解说了根据本公开的某些方面的在光受体202和RG ON细胞204之间的连接的示例模型200a以及在光受体206和RG OFF细胞208之间的连接的示例模型200b。受体电路202和206可被组织为图像像素的正交阵列。因此，ON细胞和OFF细胞的感受域可具有矩形形状(而非圆形)。
在一方面，每一个RGC可从九个受体接收输入，其中与各受体相关联的输入权重可形成拉普拉斯滤波器(即，可对来自这些受体的信号施加拉普拉斯窗函数)，如图2中所解说的。这些权重可取决于各受体是连接到ON-RG细胞还是连接到OFF-RG细胞，如模型200a和200b中所解说的。应该注意到，图2中所解说的RG细胞204和208可以不与巨神经节细胞相对应，巨神经节细胞能够从多得多的受体接收输入。
在本公开的一方面，作为在RGC阵列中混合ON细胞和OFF细胞的替代，每一个RG细胞(例如，图3中所解说的模型300中从受体302接收输入的RG细胞304)或可为ON细胞或可为OFF细胞。这可取决于与将该RG细胞304连接到V1简单细胞310的突触308相关联的权重306的符号。
如图3中所解说的，V1细胞310的输入y可通过对来自受体302的、可被输入到RG细胞304中的输入信号xi,j施加权重w来获得：
等式(1)可重写为：
其中，如果sgn(w)＝+1，则RGC 304可用作ON细胞，而如果sgn(w)＝-1，则RGC 304可用作OFF细胞。
在本公开的一个方面，可以利用如图4中所解说的那样的神经元模型。在示例模型400a中，RGC 404可对其来自各受体402的加权输入406求和，并且随后它可将求和结果传递到其输出408，即：
y = Σ i , j u i , j · x i , j . - - - ( 3 )
如图4中的示例模型400b中所解说的，V1细胞414可对其来自各RGC 412的加权输入416求和，即：
z = Σ i , j w i , j · y i , j , - - - ( 4 )
其中，来自等式(4)的权重wi,j中的每一个权重可以是双极性的以用于对ONRGC和OFF RGC两者建模。在一方面，可将V1细胞414的输出418(激活信号)与阈值进行比较。如果求和结果418高于该阈值，则V1细胞414被激活(即，激发)。另一方面，如果结果418低于该阈值，则V1细胞414处于歇止。
在本公开的一方面，可以仅训练RGC到V1连接的权重(即，权重wi,j)。来自图4的模型400b可利用以下规则。每一个V1简单细胞的激活可被计算为各相对应RGC输出的加权总和。如果V1-细胞激活超过阈值，则该V1细胞可激发。否则，该V1细胞可歇止(即，该V1细胞不生成任何信号)并且其各输入权重可以不改变。
首先，每一个V1简单细胞的激活可被计算为各相对应的RGC输出的加权总和。接着，每一个V1细胞的各权重可取决于相对应的RGC输出的符号以及该V1细胞激活的激活符号来调节。在一方面，如果RGC输出的符号和激活符号相同，则可以向施加于该RGC输出的权重增加一正增量(即，可以增加该权重)。另一方面，如果RGC输出的符号和激活符号不同，则可以从相对应的权重减去一正增量(即，可以减小该权重)。
对于RGC输出yi,j，V1细胞的激活可按照等式(4)所定义地来确定。接着，在本公开的一方面，RGC到V1权重可被调节为：
在本公开的另一方面，RGC到V1权重可基于激活的值而非其符号来调节，即：
来自等式(5)-(6)的|Δw|的值可被预先确定。在一方面，|Δw|的值可以是1/2N的形式，其中N可以是整数。由于激活值z可被表示为二进制数，因此来自等式(6)的积z·|Δw|可通过对值|Δw|执行二进制移位运算来实现。
图5解说了根据本公开的某些方面的可在神经系统处执行的用于训练RG细胞与V1细胞之间的突触权重的示例操作500。在502，在神经系统中的多个视网膜神经节细胞(RGC)电路中的每一个RGC电路的输出处，可以生成来自与该RGC电路相关联的各受体电路的加权输入的总和。在504，神经系统中的多个初级视皮层细胞(V1)电路中的每一个V1电路可生成这些RGC电路的子集的加权输出的另一总和。在506，可以调节对用以生成该另一总和的各输出施加的权重，其中对这些权重之一的调节可基于以下各项中的至少一者：这些输出中被施加以该权重的一个输出或者该另一总和。
概括言之，作为在RGC层中混合ON细胞和OFF细胞的替代，本公开中提出使这些细胞全都成为ON/OFF细胞并且通过RGC到V1权重的符号来控制这些细胞的类型。简单的“加”神经元可被用作RG细胞，而“加并激发”神经元可被用作V1简单细胞，如图4中所解说的。作为STDP学习规则的替代，可以应用所提出的由等式(5)-(6)定义的针对RGC到V1权重的学习规则。在本公开的一方面，这些权重可被允许从正的(对到ON RG细胞的连接进行建模)变为负的(对到OFFRG细胞的连接进行建模)，以及相反。
以上所描述的方法的各种操作可由能够执行相应功能的任何合适的装置来执行。这些装置可包括各种硬件和/或软件组件和/或模块，包括但不限于电路、专用集成电路(ASIC)、或处理器。一般而言，在附图中解说了操作的场合，那些操作可具有带相似编号的相应配对装置加功能组件。例如，图5中所解说的操作500对应于图5A中所解说的组件500A。
如本文中所使用的，术语“确定”广泛涵盖各种各样的动作。例如，“确定”可包括演算、计算、处理、推导、研究、查找(例如，在表、数据库或其他数据结构中查找)、查明、及类似动作。而且，“确定”可包括接收(例如，接收信息)、访问(例如，访问存储器中的数据)、及类似动作。而且，“确定”还可包括解析、选择、选取、建立、及类似动作。
如本文中所使用的，引述一列项目中的“至少一个”的短语是指这些项目的任何组合，包括单个成员。作为示例，“a、b或c中的至少一个”旨在涵盖：a、b、c、a-b、a-c、b-c、以及a-b-c。
上面描述的方法的各种操作可由能够执行这些操作的任何合适的装置来执行，诸如各种硬件和/或软件组件，电路、和/或模块。一般而言，在附图中所解说的任何操作可由能够执行这些操作的相对应的功能性装置来执行。
结合本公开所描述的各种解说性逻辑框、模块、以及电路可用设计成执行本文所描述功能的通用处理器、数字信号处理器(DSP)、专用集成电路(ASIC)、现场可编程门阵列信号(FPGA)或其他可编程逻辑器件(PLD)、分立的门或晶体管逻辑、分立的硬件组件、或其任何组合来实现或执行。通用处理器可以是微处理器，但在替换方案中，处理器可以是任何市售的处理器、控制器、微控制器、或状态机。处理器还可以被实现为计算设备的组合，例如DSP与微处理器的组合、多个微处理器、与DSP核心协同的一个或更多个微处理器或任何其他此类配置。
结合本公开描述的方法或算法的步骤可直接在硬件中、在由处理器执行的软件模块中、或在这两者的组合中实施。软件模块可驻留在本领域所知的任何形式的存储介质中。可使用的存储介质的一些示例包括随机存取存储器(RAM)、只读存储器(ROM)、闪存、EPROM存储器、EEPROM存储器、寄存器、硬盘、可移动盘、CD-ROM，等等。软件模块可包括单条指令、或许多条指令，且可分布在若干不同的代码段上，分布在不同的程序间、以及跨多个存储介质分布。存储介质可被耦合到处理器以使得该处理器能从/向该存储介质读写信息。替换地，存储介质可以被整合到处理器。
本文所公开的方法包括用于达成所描述的方法的一个或多个步骤或动作。这些方法步骤和/或动作可以彼此互换而不会脱离权利要求的范围。换言之，除非指定了步骤或动作的特定次序，否则具体步骤和/或动作的次序和/或使用可以改动而不会脱离权利要求的范围。
所描述的功能可在硬件、软件、固件或其任何组合中实现。如果在软件中实现，则各功能可以作为一条或多条指令或代码存储在计算机可读介质上或藉其进行传送。计算机可读介质包括计算机存储介质和通信介质两者，这些介质包括促成计算机程序从一地向另一地转移的任何介质。存储介质可以是能被计算机访问的任何可用介质。作为示例而非限定，这样的计算机可读介质可包括RAM、ROM、EEPROM、CD-ROM，或其他光盘存储、磁盘存储或其他磁存储设备或能被用来携带或存储指令或数据结构形式的期望程序代码且能被计算机访问的任何其他介质。任何连接也被正当地称为计算机可读介质。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或无线技术(诸如红外(IR)、无线电、以及微波)从web网站、服务器、或其他远程源传送而来，则该同轴电缆、光纤电缆、双绞线、DSL、或无线技术(诸如红外、无线电、以及微波)就被包括在介质的定义之中。如本文中所使用的盘(disk)和碟(disc)包括压缩碟(CD)、激光碟、光碟、数字多用碟(DVD)、软盘、和碟，其中盘(disk)常常磁性地再现数据，而碟(disc)用激光来光学地再现数据。因此，在一些方面，计算机可读介质可包括非瞬态计算机可读介质(例如，有形介质)。另外，对于其他方面，计算机可读介质可包括瞬态计算机可读介质(例如，信号)。上述的组合也应被包括在计算机可读介质的范围内。
因而，某些方面可包括用于执行本文中介绍的操作的计算机程序产品。例如，此类计算机程序产品可包括其上存储(和/或编码)有指令的计算机可读介质，这些指令能由一个或多个处理器执行以执行本文中所描述的操作。对于某些方面，计算机程序产品可包括包装材料。
软件或指令还可以在传输介质上传送。例如，如果软件是使用同轴电缆、光纤电缆、双绞线、数字订户线(DSL)、或诸如红外、无线电、以及微波等无线技术从web站点、服务器或其它远程源传送而来的，则该同轴电缆、光纤电缆、双绞线、DSL、或诸如红外、无线电、以及微波等无线技术就被包括在传输介质的定义里。
此外，应当领会，用于执行本文中所描述的方法和技术的模块和/或其它恰适装置能由用户终端和/或基站在适用的场合下载和/或以其他方式获得。例如，此类设备能被耦合至服务器以促成用于执行本文中所描述的方法的装置的转移。替换地，本文中所描述的各种方法能经由存储装置(例如，RAM、ROM、诸如压缩碟(CD)或软盘之类的物理存储介质等)来提供，以使得一旦将该存储装置耦合到或提供给用户终端和/或基站，该设备就能获得各种方法。此外，能利用适于向设备提供本文中所描述的方法和技术的任何其他合适的技术。
应该理解的是，权利要求并不被限定于以上所解说的精确配置和组件。可在以上所描述的方法和装置的布局、操作和细节上作出各种改动、更换和变形而不会脱离权利要求的范围。
尽管上述内容针对本公开的各方面，然而可设计出本公开的其他和进一步的方面而不会脱离其基本范围，且其范围是由所附权利要求来确定的。

Claims (21)

1.一种用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的电路，包括：
多个视网膜神经节细胞RGC电路，其中所述RGC电路中的每一个RGC电路在输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和；
多个初级视皮层细胞V1电路，其中所述V1电路中的每一个V1电路生成所述RGC电路的子集的加权输出的另一总和；以及
配置成调节对用以生成所述另一总和的输出施加的权重的电路，其中
对所述权重中的每一个权重的调节基于以下各项中的至少一者：所述输出中被施加以该权重的一个输出或者所述另一总和。
2.如权利要求1所述的电路，其特征在于，对该权重的调节基于该输出的符号以及所述另一总和的符号。
3.如权利要求1所述的电路，其特征在于，对该权重的调节基于该输出的符号以及所述另一总和的值。
4.如权利要求1所述的电路，其特征在于：
在该输出和所述另一总和两者均为正或均为负的情况下，增加该权重，以及
在该输出的符号与所述另一总和的符号不相同的情况下，减小该权重。
5.如权利要求1所述的电路，其特征在于，在由该V1电路生成的所述另一总和超过一阈值的情况下，该V1电路输出一信号。
6.如权利要求1所述的电路，其特征在于，所述电路还被配置成通过执行二进制移位运算来调节所述权重中的每一个权重。
7.如权利要求1所述的电路，其特征在于，来自所述各受体电路的输入是根据拉普拉斯窗函数来加权的。
8.一种用于实现神经系统的方法，包括：
在所述神经系统中的多个视网膜神经节细胞RGC电路中的每一个RGC电路的输出处，生成来自与该RGC电路相关联的各受体电路的加权输入的总和；
由所述神经系统中的多个初级视皮层细胞V1电路中的每一个V1电路生成所述RGC电路的子集的加权输出的另一总和；以及
调节对用以生成所述另一总和的输出施加的权重，
其中对所述权重中的每一个权重的调节基于以下各项中的至少一者：所述输出中被施加以该权重的一个输出或者所述另一总和。
9.如权利要求8所述的方法，其特征在于，对该权重的调节基于该输出的符号以及所述另一总和的符号。
10.如权利要求8所述的方法，其特征在于，对该权重的调节基于该输出的符号以及所述另一总和的值。
11.如权利要求8所述的方法，其特征在于：
在该输出以及所述另一总和两者均为正或均为负的情况下，增加该权重，以及
在该输出的符号与所述另一总和的符号不相同的情况下，减小该权重。
12.如权利要求8所述的方法，其特征在于，进一步包括：
在由该V1电路生成的所述另一总和超过一阈值的情况下，在该V1电路的输出处生成一信号。
13.如权利要求8所述的方法，其特征在于，调节所述权重中的每一个权重包括：
执行二进制移位运算。
14.如权利要求8所述的方法，其特征在于，来自所述各受体电路的输入是根据拉普拉斯窗函数来加权的。
15.一种用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的设备，包括：
用于在所述设备中的多个视网膜神经节细胞RGC电路中的每一个RGC电路的输出处生成来自与该RGC电路相关联的各受体电路的加权输入的总和的装置；
用于由所述设备中的多个初级视皮层细胞V1电路中的每一个V1电路生成所述RGC电路的子集的加权输出的另一总和的装置；以及
用于调节对用以生成所述另一总和的输出施加的权重的装置，
其中对所述权重中的每一个权重的调节基于以下各项中的至少一者：所述输出中被施加以该权重的一个输出或者所述另一总和。
16.如权利要求15所述的设备，其特征在于，对该权重的调节基于该输出的符号以及所述另一总和的符号。
17.如权利要求15所述的设备，其特征在于，对该权重的调节基于该输出的符号以及所述另一总和的值。
18.如权利要求15所述的设备，其特征在于：
在该输出以及所述另一总和两者均为正或均为负的情况下，增加该权重，以及
在该输出的符号与所述另一总和的符号不相同的情况下，减小该权重。
19.如权利要求15所述的设备，其特征在于，还包括：
用于在由该V1电路生成的所述另一总和超过一阈值的情况下在该V1电路的输出处生成一信号的装置。
20.如权利要求15所述的设备，其特征在于，用于调节所述权重中的每一个权重的装置包括：
用于执行二进制移位运算的装置。
21.如权利要求15所述的设备，其特征在于，来自所述各受体电路的输入是根据拉普拉斯窗函数来加权的。
CN201280024956.4A 2011-05-25 2012-05-25 用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备 Active CN103548042B (zh)

Applications Claiming Priority (3)

Application Number Priority Date Filing Date Title
US13/115,154 US8583577B2 (en) 2011-05-25 2011-05-25 Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits
US13/115,154 2011-05-25
PCT/US2012/039704 WO2012162663A1 (en) 2011-05-25 2012-05-25 Method and apparatus for unsupervised training of input synapses of primary visual cortex simple cells and other neural circuits

Publications (2)

Publication Number Publication Date
CN103548042A CN103548042A (zh) 2014-01-29
CN103548042B true CN103548042B (zh) 2016-08-10

Family

ID=46208849

Family Applications (1)

Application Number Title Priority Date Filing Date
CN201280024956.4A Active CN103548042B (zh) 2011-05-25 2012-05-25 用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备

Country Status (6)

Country Link
US (1) US8583577B2 (zh)
EP (1) EP2715620B1 (zh)
JP (2) JP6113719B2 (zh)
KR (1) KR101549767B1 (zh)
CN (1) CN103548042B (zh)
WO (1) WO2012162663A1 (zh)

Families Citing this family (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
KR20210134066A (ko) * 2016-08-03 2021-11-08 가부시키가이샤 한도오따이 에네루기 켄큐쇼 촬상 장치, 촬상 모듈, 전자 기기, 및 촬상 시스템
US11250316B2 (en) 2018-08-10 2022-02-15 International Business Machines Corporation Aggregate adjustments in a cross bar neural network
CN113160027A (zh) * 2020-01-23 2021-07-23 华为技术有限公司 一种图像处理模型训练方法及装置

Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03102563A (ja) * 1989-09-18 1991-04-26 Fujitsu Ltd ニューラルネット
US5329610A (en) * 1992-05-19 1994-07-12 Intel Corporation Neural network employing absolute value calculating synapse
EP0652525A2 (en) * 1993-11-09 1995-05-10 AT&T Corp. High efficiency learning network

Family Cites Families (11)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
US7769513B2 (en) * 2002-09-03 2010-08-03 Automotive Technologies International, Inc. Image processing for vehicular applications applying edge detection technique
US5771312A (en) * 1996-07-01 1998-06-23 Ramot University Authority For Applied Research & Industrial Development Ltd. Method for automatic partial white balance correction
GB9902115D0 (en) * 1999-02-01 1999-03-24 Axeon Limited Neural networks
US6912307B2 (en) * 2001-02-07 2005-06-28 Ramot Fyt Tel Aviv University Ltd. Method for automatic color and intensity contrast adjustment of still and video images
US7711663B2 (en) * 2006-03-27 2010-05-04 Board Of Trustees Of Michigan State University Multi-layer development network having in-place learning
WO2007137047A2 (en) * 2006-05-16 2007-11-29 Greer Douglas S Modeling the neocortex
US9443141B2 (en) * 2008-06-02 2016-09-13 New York University Method, system, and computer-accessible medium for classification of at least one ICTAL state
US9129220B2 (en) * 2010-07-07 2015-09-08 Qualcomm Incorporated Methods and systems for digital neural processing with discrete-level synapes and probabilistic STDP
US9092736B2 (en) * 2010-07-07 2015-07-28 Qualcomm Incorporated Communication and synapse training method and hardware for biologically inspired networks
US8892485B2 (en) * 2010-07-08 2014-11-18 Qualcomm Incorporated Methods and systems for neural processor training by encouragement of correct output
US9129222B2 (en) * 2011-06-22 2015-09-08 Qualcomm Incorporated Method and apparatus for a local competitive learning rule that leads to sparse connectivity

Patent Citations (3)

* Cited by examiner, † Cited by third party
Publication number Priority date Publication date Assignee Title
JPH03102563A (ja) * 1989-09-18 1991-04-26 Fujitsu Ltd ニューラルネット
US5329610A (en) * 1992-05-19 1994-07-12 Intel Corporation Neural network employing absolute value calculating synapse
EP0652525A2 (en) * 1993-11-09 1995-05-10 AT&T Corp. High efficiency learning network

Non-Patent Citations (2)

* Cited by examiner, † Cited by third party
Title
A combinational digital logic approach to STDP;ANDREW CASSIDY等;《CIRCUITS AND SYSTEMS(ISCAS),2011 IEEE》;20110515;第673-676页 *
Edge Detection Model Based on Involuntary Eye Movements of the Eye-Retina System;András Róka等;《Acta Polytechnica Hungarica》;20070101;第31-46页 *

Also Published As

Publication number Publication date
JP2014517973A (ja) 2014-07-24
US8583577B2 (en) 2013-11-12
JP6113719B2 (ja) 2017-04-12
WO2012162663A1 (en) 2012-11-29
JP6117392B2 (ja) 2017-04-19
JP2016139420A (ja) 2016-08-04
KR101549767B1 (ko) 2015-09-02
EP2715620B1 (en) 2016-12-14
CN103548042A (zh) 2014-01-29
EP2715620A1 (en) 2014-04-09
US20120303566A1 (en) 2012-11-29
KR20140027415A (ko) 2014-03-06

Similar Documents

Publication Publication Date Title
Korczak et al. Deep learning for financial time series forecasting in a-trader system
CN103620624B (zh) 用于导致稀疏连通性的局部竞争性学习规则的方法和装置
US9558442B2 (en) Monitoring neural networks with shadow networks
US20150120627A1 (en) Causal saliency time inference
US9652711B2 (en) Analog signal reconstruction and recognition via sub-threshold modulation
Gadhavi et al. Student final grade prediction based on linear regression
Jani et al. A framework of software requirements quality analysis system using case-based reasoning and Neural Network
US20150088796A1 (en) Methods and apparatus for implementation of group tags for neural models
EP3111378A2 (en) Method and apparatus for efficient implementation of common neuron models
Zheng et al. Real-time transient stability assessment based on deep recurrent neural network
Li et al. A dynamic neural network method for time series prediction using the KIII model
CN112150304A (zh) 电网运行状态轨迹稳定性预判方法、系统及存储介质
Wojcik et al. Bray-curtis metrics as measure of liquid state machine separation ability in function of connections density
CN103548042B (zh) 用于对初级视皮层简单细胞和其他神经电路的输入突触进行无监督训练的方法和设备
Zjavka et al. Constructing ordinary sum differential equations using polynomial networks
Lasfer et al. Neural network design parameters for forecasting financial time series
Hassen et al. Predictive performance modeling of Habesha Brewery’s wastewater treatment plant using artificial neural networks
Carrillo et al. Time series analysis of gravitational wave signals using neural networks
Motlagh et al. Development of application-specific adjacency models using fuzzy cognitive map
Oberlin Machine learning, cognition, and big data
Farangi et al. Intelligent Scoring in an English Reading Comprehension Course Using Artificial Neural Networks and Neuro-fuzzy Systems
Benaddy et al. Evolutionary prediction for cumulative failure modeling: A comparative study
Saen The use of artificial neural networks for technology selection in the presence of both continuous and categorical data
El-Hassani et al. A novel model for optimizing multilayer perceptron neural network architecture based on genetic algorithm method
US20150213356A1 (en) Method for converting values into spikes

Legal Events

Date Code Title Description
C06 Publication
PB01 Publication
SE01 Entry into force of request for substantive examination
SE01 Entry into force of request for substantive examination
C14 Grant of patent or utility model
GR01 Patent grant