CN112257846A - 神经元模型、拓扑结构、信息处理方法和视网膜神经元 - Google Patents

Abstract

本发明公开了一种神经元模型、神经元拓扑结构、信息处理方法和视网膜神经元拓扑结构。所述神经元模型，包括：至少两个独立的神经网络单元，每个所述神经网络单元用于处理不同数据格式的信号；其中，在所述神经元模型的各所述神经网络单元中，选通一个神经网络单元。本发明实施例的技术方案优化了现有的神经元模型的结构，实现了在对神经元功能的模拟过程中，对多种数据格式信号进行混合处理，满足了人们日益增长的个性化、便捷化的神经元拓扑结构的构造需求。

Description

神经元模型、拓扑结构、信息处理方法和视网膜神经元

技术领域

本发明实施例涉及人工智能技术，尤其涉及一种神经元模型、神经元拓扑结构、信息处理方法和视网膜神经元拓扑结构。

背景技术

人工智能是研究使计算机来模拟人的某些思维过程和智能行为(如学习、推理、思考或规划等)的学科，主要包括计算机实现智能的原理、制造类似于人脑智能的计算机，使计算机能实现更高层次的应用。

随着人工智能技术的不断发展，涌现出了各种用于模拟人脑中神经元的神经网络单元。例如，ANN(人工神经网络、Artificial Neural Network)单元或者SNN(脉冲神经网络、Spiking Neuron Networks)单元等。

现有技术中，某一种特定类型的神经网络单元仅能处理某一特定数据格式的信号。而人脑在处理某一项复杂处理功能时，例如，视网膜成像等，可能会涉及对多种数据格式的信号进行混合处理。现有技术所提供的各种神经网络单元无法应对上述复杂的数据处理需求。

发明内容

本发明实施例提供了一种神经元模型、神经元拓扑结构、信息处理方法和视网膜神经元拓扑结构，以在对复杂神经元功能的模拟过程中，实现对多种数据格式信号的混合处理。

第一方面，本发明实施例提供了一种神经元模型，该神经元模型包括：至少两个独立的神经网络单元，每个所述神经网络单元用于处理不同数据格式的信号；

其中，在所述神经元模型的各所述神经网络单元中，选通一个神经网络单元。

第二方面，本发明实施例还提供了一种神经元拓扑结构，该神经元拓扑结构包括：第一神经元模型、第二神经元模型和数据格式转换器件；

所述第一神经元模型和所述第二神经元模型通过所述数据格式转换器件相连，所述第一神经元模型和所述第二神经元模型中分别选通不同类型的神经网络单元；

所述数据格式转换器件，用于将所述第一神经元模型所适配的第一数据格式的信号，转换为所述第二神经元模型所适配的第二数据格式的信号；

其中，所述第一神经元模型和所述第二神经元模型为本发明任一实施例所述的神经元模型。

第三方面，本发明实施例还提供了一种信息处理方法，应用于神经元网络中，所述神经元网络由多个如本发明任一实施例所述的神经元模型，按照设定的连接方式组网得到，所述信息处理方法包括：

接收输入至所述神经元网络中的网络输入信号，所述网络输入信号中包括路由选择信息，所述路由选择信息包括：路由神经元模型标识，以及路由神经元模型中选通的神经网络单元标识；

通过每个所述神经元模型，在当前接收的目标输入信号中解析得到路由选择信息；在根据所述路由选择信息确定需要对目标输入信号进行路由时，选通与所述路由选择信息匹配的神经网络单元对所述目标输入信号进行处理，并输出处理结果。

第四方面，本发明实施例还提供了一种视网膜神经元拓扑结构，所述拓扑结构中包括：至少一个视网膜细胞模拟层，每个所述视网膜细胞模拟层中包括多个如本发明任一实施例所述的神经元模型；

所述拓扑结构，用于通过至少一个视网膜细胞模拟层，对输入的多个单一色彩图像信号和多个灰度描述信号进行处理，得到彩色重建信号以及光流重建信号。

本发明实施例的技术方案提供了一种新型的神经元模型，该神经元模型中包括至少两个独立的神经网络单元，每个所述神经网络单元用于处理不同数据格式的信号，且在所述神经元模型的各所述神经网络单元中，仅选通一个神经网络单元。通过应用上述神经元模型，可以通过选通控制的方式构建满足神经元处理功能的大规模的神经元拓扑结构，解决了现有技术无法模拟神经元对异构信息进行混合处理的技术缺陷，提出了一种异构融合的神经网络混合运算的新形式，优化了现有的神经元模型的结构，在对复杂神经元功能的模拟过程中，实现了对多种数据格式信号进行混合处理，满足了人们日益增长的个性化、便捷化的神经元拓扑结构的构造需求。

附图说明

图1是本发明实施例一中的一种神经元模型的示意图；

图2是本发明实施例二中的一种神经元模型的示意图；

图3是本发明实施例三中的一种神经元模型的示意图；

图4a是本发明实施例四中的一种神经元拓扑结构的示意图；

图4b是本发明实施例四所适用的一种脉冲神经网络单元的结构示意图；

图5a是本发明实施例五中的一种信息处理方法的实现流程图；

图5b是本发明实施例五所适用的一种神经元网络的示意图；

图6a是本发明实施例六中的一种视网膜神经元拓扑结构的示意图；

图6b是本发明实施例六中的一种具体的视网膜神经元拓扑结构的示意图。

具体实施方式

下面结合附图和实施例对本发明作进一步的详细说明。可以理解的是，此处所描述的具体实施例仅仅用于解释本发明，而非对本发明的限定。另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部结构。

另外还需要说明的是，为了便于描述，附图中仅示出了与本发明相关的部分而非全部内容。在更加详细地讨论示例性实施例之前应当提到的是，一些示例性实施例被描述成作为流程图描绘的处理或方法。虽然流程图将各项操作(或步骤)描述成顺序的处理，但是其中的许多操作可以被并行地、并发地或者同时实施。此外，各项操作的顺序可以被重新安排。当其操作完成时所述处理可以被终止，但是还可以具有未包括在附图中的附加步骤。所述处理可以对应于方法、函数、规程、子例程、子程序等等。

实施例一

图1为本发明实施例一提供的一种神经元模型的示意图，如图1所示，所述神经元模型包括至少两个独立的神经网络单元(在图1中示出为神经网络单元1、神经网络单元2、…、神经网络单元n)。

每个所述神经网络单元用于处理不同数据格式的信号。其中，在所述神经元模型的各所述神经网络单元中，选通一个神经网络单元。

在本实施例中，神经网络单元具体是指用于模拟神经元计算功能的一个最小计算单元，该神经网络单元可以通过软件，和/或硬件的方式实现，在某一个神经网络单元中，具体可以对某一种数据格式的信号进行处理。其中，所述数据格式可以包括：模拟信号、脉冲信号以及数字电平信号等。在该神经元模型中，不同的神经网络单元，用于处理不同数据格式的信号。

一般来说，不同数据格式的信号所对应的计算精度，或者信号编码方式均不相同。例如，神经网络单元A是用于处理模拟信号的，则该神经网络单元A可以处理并传输更高精度的信号，但由于该神经网络单元A无法对模拟信号进行编码处理，该神经网络单元A所能处理的计算任务形式就会相对单一，应用场景受限；神经网络单元B是用于处理脉冲信号的，则该神经网络单元B可以适用处理丰富的编码形式的信号，例如，时域编码或者时空域编码等。进而，该神经网络单元B的应用场景比较广泛，但是信号精度不高。

如前所述，现有技术在构建得到某一特定类型的神经网络时，一般仅是使用处理某一数据格式信号的神经网络单元组合得到，因此，该神经网络仅能处理某一特定数据格式的信号。在本实施例中，发明人创造性的提出了一种新的神经元模型的结构。在该神经元模型中，同时包括有多个相互独立的神经网络单元，该多个神经网络单元分别用于处理不同数据格式的信号，在实际使用时，可以根据实际需要处理信号的数据格式，在该神经元模型中，选通匹配的神经网络单元，通过使用将上述多个神经网络单元组合得到的神经元拓扑结构，可以实现对不同数据格式的信号进行混合处理。

可选的，该神经元模型可以具有多个输入端和多个配套的输出端，选连不同的输入、输出端，可以对应选通不同的神经网络单元；或者，该神经元模型可以具有单一输入端和单一输出端，而在该神经元模型内部具有一个选通开关，通过该选通开关，可以在该神经元模型内部将选通的神经网络单元选连至该单一输入端和单一输出端。

或者，可以根据该神经元模型所选通的不同神经网络单元，或者不同的信号处理需求，配置不同的输出端。

例如，如果该神经元模型选通用于处理模拟信号的神经网络单元，则可以将该神经网络单元的输出端直接作为该神经元模型的输出端；如果该神经元模型选通用于处理脉冲信号的神经网络单元，而后续仅需要该神经元模型处理得到的单一脉冲信号时，可以选择将该神经网络单元的输出端直接作为该神经元模型的输出端，或者，如果该神经元模型选通用于处理脉冲信号的神经网络单元，而后续仅需要该神经元模型处理得到的多个脉冲信号时，可以选择将该神经网络单元最后一个隐藏层的全部(或者多个)输出端均作为该神经元模型的输出端等，本实施例对此并不进行限制。

本发明实施例的技术方案提供了一种新型的神经元模型，该神经元模型中包括至少两个独立的神经网络单元，每个所述神经网络单元用于处理不同数据格式的信号，且在所述神经元模型的各所述神经网络单元中，仅选通一个神经网络单元。通过应用上述神经元模型，可以通过选通控制的方式构建满足神经元处理功能的大规模的神经元拓扑结构，解决了现有技术无法模拟神经元对异构信息进行混合处理的技术缺陷，提出了一种异构融合的神经网络混合运算的新形式，优化了现有的神经元模型的结构，在对复杂神经元功能的模拟过程中，实现了对多种数据格式信号进行混合处理，满足了人们日益增长的个性化、便捷化的神经元拓扑结构的构造需求。

在上述各实施例的基础上，所述神经元模型中的神经网络单元可以包括：第一神经网络单元和第二神经网络单元；

所述第一神经网络单元，用于对模拟信号进行处理并输出；所述第二神经网络单元，用于对脉冲信号进行处理并输出。

在本实施例中，通过在该神经元模型中设置用于处理模拟信号的第一神经网络单元，以及用于处理脉冲信号的第二神经网络单元，可以通过统一使用本发明实施例提供的神经元模型的方式，构造得到能够对模拟信号和脉冲信号进行混合处理的异构融合的神经网络，进而使得该异构融合的神经网络在处理模拟信号时，具有较大的信号精度，同时在处理脉冲信号时，具有更多的编码方式选择。

在上述各实施例的基础上，所述第一神经网络单元可以为人工神经网络(ANN)单元，所述第二神经网络单元可以为脉冲神经网络(SNN)单元。

其中，ANN单元直接处理模拟信息，并传输高精度的激活。它们在需要高精度计算的场景中显示出强大的能力，但涉及到巨大的计算操作，导致功率消耗大和延迟大。SNN单元通过内在神经元动力学记忆历史时间信息，并将代码信息输入数字尖峰序列，从而实现事件驱动计算。输入数据通常包含时间信息，并且数据流是稀疏的。因此，SNN单元比ANN单元具有更加丰富的信息编码方式，比如时域编码、时空域编码、群编码、贝叶斯编码、时滞编码、稀疏编码等。由于可进行时空一体化编码，SNN单元在处理复杂时空信息和多模态的信息任务时，具有巨大的潜力。但是，SNN单元的不连续性、时空编码的复杂性以及网络结构的不确定性导致其很难在数学上完成对网络整体的描述，难以构建有效且通用的有监督学习算法。因此，SNN单元通常计算量有限，能耗低，但是精度不高。由此可见，ANN单元和SNN单元优势互补，适于不同的应用场景，进而，通过使用本发明实施例所提供的神经元模型，可以适配综合使用ANN单元和SNN单元优势的应用场景。

实施例二

图2为本发明实施例二提供的一种神经元模型的示意图，在本实施例中，将神经元模型中的神经网络单元具体化为第一神经网络单元和第二神经网络单元，并在该神经元模型中同时包括选通器件。如图2所示，所述神经元模型包括：选通器件210、第一神经网络单元220和第二神经网络单元230。所述选通器件210分别与第一神经网络单元220和第二神经网络单元230相连。

选通器件210，用于在所述神经元模型中选通第一神经网络单元210或者第二神经网络单元230。

在本实施例中，神经元模型可以仅具有单一输入端和单一输出端，在神经元模型的内部，单一输入端与该选通器件210的输入端相连，该选通器件210的输出端同时与该第一神经网络单元220和第二神经网络单元230的输入端相连，该第一神经网络单元220和第二神经网络单元230的输出端分别与该单一输出端相连。

其中，该选通器件可以为手控器件(例如，拨码开关或者点触开关等)也可以为程控器件(例如，程控开关或者多选一数据选择器，本实施例为二选一数据选择器)等，本实施例对此并不进行限制。通过使用选通器件，可以通过手动控制，或者控制器控制的方式，对该选通器件所选通的通路进行控制，以使得该神经元模型选通所需的神经网络单元。

本发明实施例的技术方案通过在该神经元模型内部设置选通器件，简化了该神经元模型的对外连接方式，仅通过单一输入端和单一输出端即可和其他神经元模型进行互连。进而，仅通过对所互连的各神经元模型中的选通器件的简单控制，即可灵活得到所需的各种神经元拓扑结构。

在上述各实施例的基础上，所述选通器件可以为程控器件，所述神经元模型还包括：选通控制器件，所述选通控制器件与所述选通器件相连；

所述选通控制器件，用于确定待选通的目标神经网络单元，并向所述选通器件发送与所述目标神经网络单元匹配的选通控制指令；

所述选通器件，具体用于根据所述选通控制指令，选通所述神经元模型中的所述目标神经网络单元。

在本可选实施方式中，可以使用程控的方式，控制神经元模型中的选通器件，以进一步提高整个神经元模型的智能化和通用性。具体的，在本实施例中，可以使用神经元模型中的选通控制器件对该选通器件进行选通控制。可选的，该选通控制器件可以为控制芯片，该选通控制器可以根据用户输入的控制指令(有线，和/或无线的方式接收)，或者直接根据输入至该神经元模型中的输入信号，确定内部当前需要选通的目标神经网络单元，并进而可以根据预设的对应关系，也即，需要选通的神经网络单元与选通控制指令之间的对应关系，确定与目标神经网络单元匹配的选通控制指令，并将该选通控制指令发送至选通器件。

可选的，所述神经元模型还可以包括：无线收发模块，该无线收发模块与所述选通控制器件相连，该选通控制器件可以根据无线收发模块接收到的控制指令，或者输入至该神经元模型中的输入信号，确定目标神经网络单元。

这样设置的好处在于：通过简单的程控操作，即可将由多个神经元模型构建得到的神经元拓扑结构进行动态调整，进一步扩展了神经元模型的使用场景。

实施例三

图3为本发明实施例三提供的一种神经元模型的示意图，如图3所示，在本实施例中，所述选通控制器件与所述神经元模型的输入端相连。

相应的，所述选通控制器件用于，解析输入信号中包括的路由选择信息，并根据所述路由选择信息，确定待选通的目标神经网络单元；向所述选通器件发送与所述目标神经网络单元匹配的选通控制指令。进而，所述选通器件，具体用于根据所述选通控制指令，选通所述神经元模型中的目标神经网络单元，并将该输入信号相应发送至该目标神经网络单元(也即，第一神经网络单元或者第二神经网络单元)。

在本实施例中，可以使用多个神经元模型(等同于传输节点)进行组网，得到神经元网络，并在发送至该神经元网络中的每个输入信号中均加入路由选择信息，该路由选择信息中指明了每个输入信号需要经过的神经元模型的顺序，以及所经过的每个神经元模型所需选通的目标神经网络单元。进而，当某一神经元模型收到了输入信号后，通过解析该输入信号中包括的路由选择信息，可以简单、便捷的确定出待选通的目标神经网络单元。

通过上述设置，可以基于预先构建标准神经网络，仅通过简单的设置不同的路由选择信息，灵活实现多种不同类型的神经元拓扑结构，进一步扩展了神经元模型的使用场景以及通用性。

实施例四

图4a是本发明实施例四中的一种神经元拓扑结构的示意图，如图4a所示，该神经元拓扑结构中包括第一神经元模型410、数据格式转换器件420和第二神经元模型430。

第一神经元模型410和第二神经元模型430通过数据格式转换器件420相连，第一神经元模型410和第二神经元模型430中分别选通不同类型的神经网络单元；

数据格式转换器件420，用于将第一神经元模型410所适配的第一数据格式的信号，转换为第二神经元模型430所适配的第二数据格式的信号；

其中，第一神经元模型410和第二神经元模型430为如本发明任一实施例所述的神经元模型。

在本实施例中，具体示出了一种本发明各实施例所提供的神经元模型所适用的一种神经元拓扑结构，在该神经元拓扑结构中，给出了一种对多种数据格式信号进行混合处理的实现方式。其中，为了在该神经元拓扑结构发挥不同类型神经网络单元的优点，第一神经元模型410和第二神经元模型430中分别选通不同类型的神经网络单元。

可选的，在第一神经元模型410中选通神经网络单元A，该神经网络单元A用于处理第一数据格式的信号；在第二神经元模型430中选通神经网络单元B，该神经网络单元B用于处理第二数据格式的信号。

为了实现对上述第一数据格式的信号和第二数据格式的信号的混合处理，在本实施例中，引入了数据格式转换器件420，以实现对不同数据格式信号的转换。其中，可以根据第一数据格式和第二数据格式的具体形式，选择不同类型的数据格式转换器件420，例如，脉冲信号转模拟信号转换器或者模拟信号转脉冲信号转换器等；或者，可以在统一的数据格式转换器件420中预先配置不同类型的数据格式转换单元，并根据第一数据格式和第二数据格式的具体形式，选通匹配的数据格式转换单元等，本实施例对此并不进行限制。

本发明实施例的技术方案通过引入数据格式转换器件，可以在相邻的神经元模型分别选通不同类型的神经网络单元前提下，保证不同神经网络单元能够对所适配数据格式的信号进行处理，提出了一种异构融合的神经网络混合运算的新形式，有效实现了对多种数据格式信号进行混合处理。

在本实施例的一个可选的实施方式中，所述第一神经元模型中可以选通脉冲神经网络单元，所述第二神经元模型中可以选通人工神经网络单元；

所述数据格式转换器件的输入端与所述第一神经元模型的输出端相连，所述数据格式转换器件的输出端与所述第二神经元模型的输入端相连；

所述数据格式转换器件具体可以用于：将所述第一神经元模型分时输出的各脉冲信号进行设定时长的累加，得到模拟信号，并将所述模拟信号发送至所述第二神经元模型。

在本可选实施方式中，数据格式转换器件需要将第一神经元模型中脉冲神经网络单元输出的脉冲信号，转换为第二神经元模型中人工神经网络单元所适配的模拟信号。具体实现方式为，将第一神经元模型分时输出的各脉冲信号进行设定时长的累加，得到该模拟信号。

通过上述设置虽然可以简单、便捷的得到多个脉冲信号，但是需要耗费一定的等待时间，进而会增加整个神经元拓扑结构的计算时延，时效性较差。

在本实施例的另一个可选的实施方式中，所述第一神经元模型中可以选通脉冲神经网络单元，所述第二神经元模型中可以选通人工神经网络单元。

所述数据格式转换器件的输入端与所述第一神经元模型的最后一个隐藏层中的各输出端相连，所述数据格式转换器件的输出端与所述第二神经元模型的输入端相连；

所述数据格式转换器件具体用于：将所述第一神经元模型的最后一个隐藏层中的各输出端在同一时刻输出的各脉冲信号进行累加，得到模拟信号，并将所述模拟信号发送至所述第二神经元模型。

在本可选实施方式中，如图4b所示，发明人通过分析脉冲神经网络单元的结构，发现虽然脉冲神经网络单元的输出层仅能输出单一的脉冲信号，但是最后一个隐藏层则是可以输出多个脉冲信号，以供输出层最终得到该单一的脉冲信号。因此，在本可选实施方式中，可以将脉冲神经网络单元最后一个隐藏层中的各输出端(图4b示例的输出1、输出2、输出3、输出4以及输出5)均引出该第一神经元模型的外部，进而，数据格式转换器件可以不再与第一神经元模型的输出端相连，而是可以与脉冲神经网络单元最后一个隐藏层中的各输出端。相应的，该数据格式转换器件可以在同一时刻分别获取多个脉冲信号，进而可以快速累加得到所需的模拟信号，提供至第二神经元模型的人工神经网络单元中，以进一步减少整个神经元拓扑结构的计算时延。

在上述各实施例的基础上，所述第一神经元模型中可以选通人工神经网络单元，所述第二神经元模型中可以选通脉冲神经网络单元；

所述数据格式转换器件的输入端与所述第一神经元模型的输出端相连，所述数据格式转换器件的输出端与所述第二神经元模型的输入端相连；

所述数据格式转换器件具体用于：按照设定采样规则，将所述第一神经元模型输出的模拟信号进行信号采样，并将采样得到的脉冲信号发送至所述第二神经元模型。

通过上述设置，数据格式转换器件需要将第一神经元模型中人工神经网络单元输出的模拟信号，转换为第二神经元模型中脉冲神经网络单元所适配的脉冲信号，以进一步保证对多种数据格式信号进行混合处理。

实施例五

图5a示出了本发明实施例五中的一种信息处理方法的实现流程图，本实施例可适用于由多个如本发明任一实施例所述的神经元模型，按照设定的连接方式组网得到的神经元网络中，本实施例的方法具体包括：

S510、接收输入至所述神经元网络中的网络输入信号。

其中，图5b是本发明实施例五所适用的一种神经元网络的示意图。该神经元网络中不同神经元模型可以通过直连或者中继的方式两两进行信号传输。其中，在所述神经元网络中的至少两个直连的神经元模型之间，可以连接有数据格式转换器件，以局部形成如本发明任意实施例所述的神经元拓扑结构。

其中，所述网络输入信号中包括路由选择信息，所述路由选择信息包括：路由神经元模型标识，以及路由神经元模型中选通的神经网络单元标识。

具体的，该路由选择信息中包括顺序构成的多个路由神经元模型标识，也即，路由神经元模型标识序列，该路由神经元模型标识序列中指明了该网络输入信号需要顺序输入至哪些神经元模型(也即，路由神经元模型)中进行信号处理，并进一步通过神经网络单元标识指明每个路由神经元模型需要选通哪一个神经网络单元对该网络输入信号进行处理。

其中，每个路由神经元模型在对该网络输入信号进行处理后，可以在该路由神经元模型标识序列中标识出当前的信号处理位置并输出，以使得接收到该处理后网络输入信号的神经元模型能够快速确定出该网络输入信号的下一跳的神经元模型，以及该下一跳的神经元模型中所选通的神经网络单元。

S520、通过每个所述神经元模型，在当前接收的目标输入信号中解析得到路由选择信息。

当网络输入信号输入至该神经元网络之后，每个神经元模型都可能接收到该网络输入信号(或者，已经被其他神经元模型处理过的网络输入信号)，可以将上述两种信号统称为目标输入信号。

相应的，当某一个神经元模型接收到该目标输入信号后，可以从该目标输入信号中解析出路由选择信息，并进而获取下一跳的神经元模型，以及该下一跳的神经元模型中所选通的神经网络单元。其中，可以为每个神经元模型设置神经元模型标识，这样，每个神经元模型在通过解析路由选择信息中包括的路由神经元模型标识后，可以确定下一跳的神经元模型是否为自身。

S530、通过每个所述神经元模型，在根据所述路由选择信息确定需要对目标输入信号进行路由时，选通与所述路由选择信息匹配的神经网络单元对所述目标输入信号进行处理，并输出处理结果。

在一个具体的例子中，神经元网络中的神经元模型10(神经元模型标识)当前接收到了目标输入信号，并通过选通控制器件解析该目标输入信号中包括的路由选择信息后，确定下一跳的神经元模型为神经元模型10，同时，该神经元模型10中所选通的神经网络单元为脉冲神经网络单元。

相应的，该神经元模型10中的选通控制器件可以向选通器件发送选通脉冲神经网络单元的选通指令，以使得该神经元模型10中的脉冲神经网络单元对当前接收的目标输入信号进行处理。此外，该选通控制器件在确定处理完成后，可以在该处理结果中的路由选择信息加入神经元模型10的已处理标识。

本发明实施例的技术方案通过灵活的、可重构路由策略，可建立不同数据格式的信号的混合通信机制，丰富了神经元网络的组网形式，满足人们灵活的神经元组网需求。同时，依靠可重构的路由策略，可以实现不同编解码(数据格式信号)之间的相互转换，使所需传输的信号在单个神经元模型、神经元模型组、神经元模型群、大规模神经元网络等不同层次间、不同神经元模型以及不同网络模型间自由传输。

实施例六

图6a示出了本发明实施例六中的一种视网膜神经元拓扑结构，如图6a所示，所述拓扑结构中包括：至少一个视网膜细胞模拟层，每个所述视网膜细胞模拟层中包括多个如本发明任一实施例所述的神经元模型。

所述拓扑结构，用于通过至少一个视网膜细胞模拟层，对输入的多个单一色彩图像信号和多个灰度描述信号进行处理，得到彩色重建信号以及光流重建信号。

可选的，可以在该拓扑结构内部细分为两个处理通路，一个处理通路A用于生成彩色重建信号，另一个处理通路B用于生成光流重建信号。可选的，该至少一个视网膜细胞模拟层中，每层中的一个或者多个神经元模型归属于该处理通路A，每层中剩余的一个或者多个神经元模型归属于该处理通路B。

可选的，处理通路A和处理通路B中，可以不重复的使用每一个视网膜细胞模拟层中不同的神经元模型生成最终的彩色重建信号以及光流重建信号，也可以在至少一个视网膜细胞模拟层中共享一个或者多个神经元模型，本实施例对此并不进行限制。

可选的，可以将全部单一色彩图像信号单独输入至处理通道A，将全部灰度描述信号单独输入至处理通道B；或者，也可以将全部单一色彩图像信号输入至处理通道A的同时，将全部单一色彩图像信号中的若干个单一色彩图像信号输入至处理通道B中进行混合计算；或者，也可以将全部灰度描述信号输入至处理通道B的同时，将全部灰度描述信号中的若干个灰度描述信号同时输入至处理通道A中进行混合计算等。

作为示例而非限定，在图6a中所示的拓扑结构中，沿输入至输出方向(也即，信号传输方向)分别包括有视网膜细胞模拟层1、视网膜细胞模拟层2、视网膜细胞模拟层3以及视网膜细胞模拟层4。每个视网膜细胞模拟层中均包括多个神经元模型。例如，视网膜细胞模拟层1中包括神经元模型1-神经元模型4。该拓扑结构的输入(输入至视网膜细胞模拟层1中的信号)为多个单一色彩图像信号和多个灰度描述信号，该拓扑结构的输出(由视网膜细胞模拟层4输出的信号)为彩色重建信号以及光流重建信号。

在本实施例中，单一色彩图像信号具体可以为R色彩图像信号、B色彩图像信号以及G色彩图像信号这三原色图像信号。

其中，考虑到人眼视网膜主要包括两种视觉感知细胞，视锥细胞与视杆细胞。其中视锥细胞对绝对光强信息与颜色信息敏感，因此具有很高的图像还原精度，但速度较慢。相反，视杆细胞无法感知颜色与绝对光强信息，其主要对光强信息的变化量进行感知，因而速度很高，且动态范围较大。

目前，传统方法只有对视网膜单一细胞或少数细胞群的建模，缺乏对大规模视网膜建模与仿真的理论模型。发明人通过研究发现，人工神经网络单元的组合，可以实现基于频率编码的高质量的彩色图像信号重建，而脉冲神经网络单元的组合，可以实现基于时间编码的事件驱动高速光流信号的重建。由于本发明实施例的技术方案已经构造得到了通用的可以选通人工神经网络或者脉冲神经网络的神经元模型，因此，可以使用该神经元模型作为最小单元，构建得到能够同时重建彩色图像信号和光流信号的视网膜神经元拓扑结构。

通过构建上述视网膜神经元拓扑结构，可以得到脉冲神经网络单元和人工神经网络单元的异构融合的统一视觉感知范例，以结合上述两种神经网络单元的优点，在处理复杂系统时获得更好的性能和效率。该混合方案适用于边缘传感器应用、汽车应用、无人机应用、机器人等，以及同时要求高精度、低延迟、高能效的场合。

在本实施例中，所述视网膜细胞模拟层用于模拟视网膜中真实的细胞层，例如，外网层、内核层、内网层以及节细胞层等。同时，使用不同视网膜细胞模拟层中的多个神经元模型，模拟真实细胞层中神经元的信号处理过程。可选的，可以使用视网膜细胞模拟层1模拟外网层、使用视网膜细胞模拟层2模拟内核层、使用视网膜细胞模拟层3模拟内网层以及使用视网膜细胞模拟层4模拟节细胞层。

在上述各实施例的基础上，所述拓扑结构中包括的视网膜细胞模拟层的数量为多个(图6a中示出的四个视网膜细胞模拟层仅为示例)。

所述视网膜细胞模拟层中的神经元模型与其他所述视网膜细胞模拟层的神经元模型通过前向直连、反向直连、前向跨层连接和反向跨层连接中的至少一种连接方式进行连接，其中，所述前向为信号从输入至输出的传输方向。

如图6a所示，视网膜细胞模拟层1中的神经元模型1与视网膜细胞模拟层2中的神经元模型5前向直连，视网膜细胞模拟层4中的神经元模型13与视网膜细胞模拟层3中的神经元模型10反向直连，视网膜细胞模拟层2中的神经元模型6与视网膜细胞模拟层4中的神经元模型13前向跨层直连，视网膜细胞模拟层4中的神经元模型13与视网膜细胞模拟层2中的神经元模型5反向跨层直连。其中，在分层处理的基础上，采用跨层连接的设计方式，实现高效的多尺度感受野((Receptive Field)的特征提取，尤其是混合感受野的特征提取。

在上述各实施例的基础上，所述视网膜神经元拓扑结构中各所述神经元模型适配的神经网络单元，通过无监督学习的方式训练得到。

在上述各实施例的基础上，所述视网膜神经元拓扑结构中各所述神经元模型所选通的神经网络单元，使用反向传播算法、赢者通吃算法以及穗时序依赖型可塑性算法中的至少一项算法训练得到。

在上述各实施例的基础上，所述灰度描述信号可以包括：灰度图像信号，或者光流信号。

所述光流信号，是指实时光强变化量。该实时光强变化量，具体是指在某一时刻下，彩色图像中某一像素点的光强变化量，或者，也可以表述为一个相对的灰度值(亮度值)变化量，该实时光强变化量表征该像素点当前的亮度值与之前某一时刻的历史亮度值之间的变化量。

在上述各实施例的基础上，每个所述视网膜细胞模拟层中包括的至少一个神经元模型共同组成第一视网膜模拟通路；每个所述视网膜细胞模拟层中包括的至少一个其余神经元模型共同组成第二视网膜模拟通路；

所述第一视网膜模拟通路，用于对输入的多个单一色彩图像信号以及至少一个灰度描述信号进行融合，得到彩色重建信号；

所述第二视网膜模拟通路，用于对输入的多个灰度描述信号进行处理，得到光流重建信号。

可选的，所述第一视网膜模拟通路中的各神经元模型选通第一神经网络单元；所述第二视网膜模拟通路中的各神经元模型选通第二神经网络单元。

进一步的，该第一神经网络单元可以为人工神经网络(ANN)单元，该第二神经网络单元可以为脉冲神经网络(SNN)单元。

可选的，第一视网膜模拟通路中的各ANN单元可以用于模拟人眼视网膜中的阳伞细胞通路，用于实现基于频率编码的高质量的彩色图像信号重建。在该第一视网膜模拟通路中，主要对视网膜中的视锥细胞、视锥水平细胞、双极细胞、无长突细胞与阳伞节细胞进行仿真；第二视网膜模拟通路中的各SNN单元可以用于模拟人眼视网膜中的侏儒细胞通路，实现基于时间编码的事件驱动高速光流信号。在该通路中，主要对视网膜中的视杆细胞、视杆水平细胞、双极细胞、无长突细胞与侏儒节细胞进行仿真。

在上述各实施例的基础上，所述第一视网膜模拟通路的信号输入端，用于输入双模态视觉传感器中彩色图像传感电路采集得到的光信号的光强的电压信号，以及双模态视觉传感器中光强变化量传感电路采集得到的光信号的光强变化量的电流信号；

所述第二视网膜模拟通路的信号输入端，用于输入双模态视觉传感器中光强变化量传感电路采集得到的光信号的光强变化量的电流信号。

在本发明实施例的一个可选实施方式中，所述双模态视觉传感器可以具体包括：第一传感电路(也可以称为，光强变化量传感电路)和第二传感电路(也可以称为，彩色图像传感电路)；

第一传感电路，用于提取目标光信号中第一设定波段的光信号，并输出表征所述第一设定波段的光信号的光强变化量的电流信号；

第二传感电路，用于提取目标光信号中第二设定波段的光信号，并输出表征所述第二设定波段的光信号的光强的电压信号。

可选的，所述第一传感电路包括第一兴奋型感光单元和第一抑制型感光单元，所述第一兴奋型感光单元和所述第一抑制型感光单元均用于提取目标光信号中第一设定波段的光信号，并将所述第一设定波段的光信号转换为电流信号；

所述第一传感电路还用于根据所述第一兴奋型感光单元和所述第一抑制型感光单元转换的电流信号之间的差异，输出表征所述第一设定波段的光信号的光强变化量的电流信号。

可选的，所述第二传感电路包括至少一个第二感光单元，所述第二感光单元用于提取目标光信号中第二设定波段的光信号，并将所述第二设定波段的光信号转换为电流信号；

所述第二传感电路还用于根据所述第二感光单元转换的电流信号，输出表征所述第二设定波段的光信号的光强的电压信号。

通过上述设置，可以使用上述电压电流型双模态仿生视觉传感器(双模态视觉传感器)，可以像人眼视网膜一样同时获取高速空间梯度信号(视杆、节细胞与水平细胞)与低速彩色信号(视锥)，进而通过如本发明实施例所述的视网膜神经元拓扑结构，可以模拟出人眼基于该光信号的光强的电压信号以及光信号的光强变化量的电流信号重建得到的彩色重建信号以及光流重建信号。

在上述各实施例的基础上，输入至所述第一视网膜模拟通路中的灰度描述信号，可以为输入至所述第二视网膜模拟通路中的灰度描述信号的子集。

在上述各实施例的基础上，所述拓扑结构还可以包括：输入信号模拟层；所述输入信号模拟层中包括至少一个如本发明任一实施例所述的神经元模型；

所述输入信号模拟层输出端分别与所述第一视网膜模拟通路与所述第二视网膜模拟通路的输入端相连；

所述输入信号模拟层，用于将输入的光线模拟信号进行处理，得到多个单一色彩图像信号以及多个灰度描述信号；将所述多个单一色彩图像信号以及至少一个灰度描述信号发送至所述第一视网膜模拟通路的输入端，并将多个所述灰度描述信号发送至所述第二视网膜模拟通路的输入端。

在本实施例中，考虑到人眼视网膜中的视杆视锥层可以根据光线信号，生成得到多个单一色彩图像信号以及多个灰度描述信号。因此，除了可以使用双模态视觉传感器得到视网膜神经元拓扑结构所需的输入信号，还可以直接通过输入信号模拟层模拟视杆视锥层，直接模拟得到该视网膜神经元拓扑结构所需的输入信号。

需要再次强调的是，不论使用任何方式得到该多个单一色彩图像信号以及多个灰度描述信号，输入至第一视网膜模拟通路(用于模拟阳伞细胞通路)的信号中需要包括至少一个灰度描述信号，并通过第一视网膜模拟通路中的该灰度描述信号与多个单一色彩图像信号的混合计算，可以最终得到彩色重建信号。

其中，在图6b示出了本发明实施例六中的一种具体的视网膜神经元拓扑结构的示意图。

如图6b所示，该视网膜神经元拓扑结构中使用分层结构的网络框架，分别对应于简化后的多层视网膜结构：视杆视锥层，外网层，内核层，内网层与节细胞层。对于视觉信号的输入，该仿真网络同时包含了自下向上的前馈过程与自上而下的反馈过程。

对于前馈过程，可以采用异构融合的ANN单元与SNN单元，对视网膜中的各种神经动力学现象进行仿真。主要可以采用ANN单元对阳伞细胞通路进行仿真，实现基于频率编码的高质量的彩色图像信号重建。在该通路中，主要对视网膜中的视锥细胞、视锥水平细胞、双极细胞、无长突细胞与阳伞节细胞进行仿真；可以采用SNN单元对侏儒细胞通路进行仿真，实现基于时间编码的事件驱动高速光流信号。在该通路中，主要对视网膜中的视杆细胞、视杆水平细胞、双极细胞、无长突细胞与侏儒节细胞进行仿真。同时，为了模拟无长突细胞的40多种不同的感受野类型，在分层处理的基础上，采用跨层连接(前向以及反向)的设计方式，实现高效的多尺度混合感受野的特征提取。

对于反馈过程，可以采用基于局部学习的STDP(Spike Timing DependentPlasticity，穗时序依赖型可塑性)学习规则的对内核层水平细胞的间隙连接网络进行仿真，采用基于WTA(Winner Take All，赢者通吃)规则的无监督学习算法对人眼的注意力(attention)机制进行仿真。水平细胞汇总接收到的感光细胞信号强度，测量出一定区域内视网膜上光照的平均亮度，反馈抑制信号将感光细胞的输出信号调节到合适的水平，使双极细胞接收的信号既不会太小淹没在神经通路的噪声中，也不会太大使神经通路过饱和，大幅度提高该模型的自适应能力与动态范围。

同时，如图6b所示，输入经过视杆视锥层6个神经元模型的处理后，由前三个(按照从左到右的顺序)神经元模型输出多个单一色彩图像信号至外网层中的阳伞细胞通路，由后三个神经元模型输出多个灰度描述信号至外网层的侏儒细胞通路，其中，第四个神经元模型输出的灰度描述信号还同时提供至了阳伞细胞通路。

注意，上述仅为本发明的较佳实施例及所运用技术原理。本领域技术人员会理解，本发明不限于这里所述的特定实施例，对本领域技术人员来说能够进行各种明显的变化、重新调整和替代而不会脱离本发明的保护范围。因此，虽然通过以上实施例对本发明进行了较为详细的说明，但是本发明不仅仅限于以上实施例，在不脱离本发明构思的情况下，还可以包括更多其他等效实施例，而本发明的范围由所附的权利要求范围决定。

Claims (19)

1.一种神经元模型，其特征在于，包括：至少两个独立的神经网络单元，每个所述神经网络单元用于处理不同数据格式的信号；

其中，在所述神经元模型的各所述神经网络单元中，选通一个神经网络单元。

2.根据权利要求1所述的神经元模型，其特征在于，还包括：选通器件，所述选通器件分别与各所述神经网络单元相连；

所述选通器件，用于在所述神经元模型中选通一个神经网络单元。

3.根据权利要求2所述的神经元模型，其特征在于，所述选通器件为程控器件，所述神经元模型还包括：选通控制器件，所述选通控制器件与所述选通器件相连；

所述选通控制器件，用于确定待选通的目标神经网络单元，并向所述选通器件发送与所述目标神经网络单元匹配的选通控制指令；

所述选通器件，具体用于根据所述选通控制指令，选通所述神经元模型中的所述目标神经网络单元。

4.根据权利要求3所述的神经元模型，其特征在于，所述选通控制器件与所述神经元模型的输入端相连；

所述选通控制器件用于，解析输入信号中包括的路由选择信息，并根据所述路由选择信息，确定待选通的目标神经网络单元。

5.根据权利要求1-4任一项所述的神经元模型，其特征在于，所述神经元模型中的神经网络单元包括：第一神经网络单元和第二神经网络单元；

所述第一神经网络单元，用于对模拟信号进行处理并输出；

所述第二神经网络单元，用于对脉冲信号进行处理并输出。

6.根据权利要求5所述的神经元模型，其特征在于，所述第一神经网络单元为人工神经网络单元，所述第二神经网络单元为脉冲神经网络单元。

7.一种神经元拓扑结构，其特征在于，包括第一神经元模型、第二神经元模型和数据格式转换器件；

所述第一神经元模型和所述第二神经元模型通过所述数据格式转换器件相连，所述第一神经元模型和所述第二神经元模型中分别选通不同类型的神经网络单元；

所述数据格式转换器件，用于将所述第一神经元模型所适配的第一数据格式的信号，转换为所述第二神经元模型所适配的第二数据格式的信号；

其中，所述第一神经元模型和所述第二神经元模型为权利要求1-6中任一所述的神经元模型。

8.根据权利要求7所述的神经元拓扑结构，其特征在于，所述第一神经元模型中选通脉冲神经网络单元，所述第二神经元模型中选通人工神经网络单元；

所述数据格式转换器件的输入端与所述第一神经元模型的输出端相连，所述数据格式转换器件的输出端与所述第二神经元模型的输入端相连；

所述数据格式转换器件具体用于：将所述第一神经元模型分时输出的各脉冲信号进行设定时长的累加，得到模拟信号，并将所述模拟信号发送至所述第二神经元模型。

9.根据权利要求7所述的神经元拓扑结构，其特征在于，所述第一神经元模型中选通脉冲神经网络单元，所述第二神经元模型中选通人工神经网络单元；

所述数据格式转换器件的输入端与所述第一神经元模型的最后一个隐藏层中的各输出端相连，所述数据格式转换器件的输出端与所述第二神经元模型的输入端相连；

所述数据格式转换器件具体用于：将所述第一神经元模型的最后一个隐藏层中的各输出端在同一时刻输出的各脉冲信号进行累加，得到模拟信号，并将所述模拟信号发送至所述第二神经元模型。

10.根据权利要求7所述的神经元拓扑结构，其特征在于，所述第一神经元模型中选通人工神经网络单元，所述第二神经元模型中选通脉冲神经网络单元；

所述数据格式转换器件的输入端与所述第一神经元模型的输出端相连，所述数据格式转换器件的输出端与所述第二神经元模型的输入端相连；

所述数据格式转换器件具体用于：按照设定采样规则，将所述第一神经元模型输出的模拟信号进行信号采样，并将采样得到的脉冲信号发送至所述第二神经元模型。

11.一种信息处理方法，应用于神经元网络中，所述神经元网络由多个如权利要求1-6任一项所述的神经元模型，按照设定的连接方式组网得到，其特征在于，包括：

接收输入至所述神经元网络中的网络输入信号，所述网络输入信号中包括路由选择信息，所述路由选择信息包括：路由神经元模型标识，以及路由神经元模型中选通的神经网络单元标识；

通过每个所述神经元模型，在当前接收的目标输入信号中解析得到路由选择信息；在根据所述路由选择信息确定需要对目标输入信号进行路由时，选通与所述路由选择信息匹配的神经网络单元对所述目标输入信号进行处理，并输出处理结果。

12.一种视网膜神经元拓扑结构，其特征在于，所述拓扑结构中包括：至少一个视网膜细胞模拟层，每个所述视网膜细胞模拟层中包括多个如权利要求1-6任一项所述的神经元模型；

所述拓扑结构，用于通过至少一个视网膜细胞模拟层，对输入的多个单一色彩图像信号和多个灰度描述信号进行处理，得到彩色重建信号以及光流重建信号。

13.根据权利要求12所述的视网膜神经元拓扑结构，其特征在于，所述拓扑结构中包括的视网膜细胞模拟层的数量为多个；

所述视网膜细胞模拟层中的神经元模型与其他所述视网膜细胞模拟层的神经元模型通过前向直连、反向直连、前向跨层连接和反向跨层连接中的至少一种连接方式进行连接，其中，所述前向为信号从输入至输出的传输方向。

14.根据权利要求13所述的视网膜神经元拓扑结构，其特征在于：

每个所述视网膜细胞模拟层中包括的至少一个神经元模型共同组成第一视网膜模拟通路；每个所述视网膜细胞模拟层中包括的至少一个其余神经元模型共同组成第二视网膜模拟通路；

所述第一视网膜模拟通路，用于对输入的多个单一色彩图像信号以及至少一个灰度描述信号进行融合，得到彩色重建信号；

所述第二视网膜模拟通路，用于对输入的多个灰度描述信号进行处理，得到光流重建信号。

15.根据权利要求14所述的视网膜神经元拓扑结构，其特征在于，所述第一视网膜模拟通路中的各神经元模型选通第一神经网络单元；所述第二视网膜模拟通路中的各神经元模型选通第二神经网络单元。

16.根据权利要求14所述的视网膜神经元拓扑结构，其特征在于，所述灰度描述信号包括：灰度图像信号，或者光流信号；和/或，

输入至所述第一视网膜模拟通路中的灰度描述信号，为输入至所述第二视网膜模拟通路中的灰度描述信号的子集。

17.根据权利要求12所述的视网膜神经元拓扑结构，其特征在于，所述视网膜神经元拓扑结构中各所述神经元模型适配的神经网络单元，通过无监督学习的方式训练得到；和/或

所述视网膜神经元拓扑结构中各所述神经元模型所选通的神经网络单元，使用反向传播算法、赢者通吃算法以及穗时序依赖型可塑性算法中的至少一项算法训练得到。

18.根据权利要求12-17中任一项所述的视网膜神经元拓扑结构，其特征在于：

所述第一视网膜模拟通路的信号输入端，用于输入双模态视觉传感器中彩色图像传感电路采集得到的光信号的光强的电压信号，以及双模态视觉传感器中光强变化量传感电路采集得到的光信号的光强变化量的电流信号；

所述第二视网膜模拟通路的信号输入端，用于输入双模态视觉传感器中光强变化量传感电路采集得到的光信号的光强变化量的电流信号。

19.根据权利要求12-17中任一项所述的视网膜神经元拓扑结构，其特征在于，所述拓扑结构还包括：输入信号模拟层；所述输入信号模拟层中包括至少一个如权利要求1-6任一项所述的神经元模型；

所述输入信号模拟层输出端分别与所述第一视网膜模拟通路与所述第二视网膜模拟通路的输入端相连；

所述输入信号模拟层，用于将输入的光线模拟信号进行处理，得到多个单一色彩图像信号以及多个灰度描述信号；将所述多个单一色彩图像信号以及至少一个灰度描述信号发送至所述第一视网膜模拟通路的输入端，并将多个所述灰度描述信号发送至所述第二视网膜模拟通路的输入端。

Images