CN115053231A - 到神经网络中的输入 - Google Patents

Abstract

使用人工神经网络来对源自不同的传感器和换能器的数据进行抽象。一种方法可以包括识别循环人工神经网络中的活动的拓扑模式以及输出数字的集合。所述拓扑模式响应于到所述循环人工神经网络中的、源自第一传感器的第一数据以及源自第二传感器的第二数据的输入。每个拓扑模式对由所述第一数据和所述第二数据共享的特性进行抽象。所述第一传感器和所述第二传感器感测不同的数据。每个数字表示在人工神经网络中是否已经识别活动的所述拓扑模式中的一个。

Description

到神经网络中的输入

技术领域

本发明涉及人工神经网络，并且更具体地涉及使用人工神经网络来对源自不同的传感器和换能器的数据进行抽象(abstract)。

背景技术

人工神经网络是受生物神经元网络的结构和功能方面启发的设备。具体地，人工神经网络使用被称为节点(node)的互连构造的系统来模拟生物神经元网络的信息编码和其他处理能力。人工神经网络中的节点之间的连接的布置和强度确定由人工神经网络进行信息处理或信息存储的结果。

神经网络可以被训练以在网络中产生期望的信号流，并且实现期望的信息处理或信息存储结果。一般而言，训练神经网络将在学习阶段期间改变节点之间的连接的布置和/或强度。当对于给定的数组输入由神经网络实现足够适当的处理结果时，神经网络可以被认为经训练的。

因为训练是由神经网络执行的处理的基础，所以这些神经网络一般不能够处理在形式上或在内容上偏离训练集中的数据的数据。通过示例的方式，如果输入音频数据，已经被训练为将图像分类的神经网络图像分类器将很可能产生无意义的结果。作为另一个示例，如果输入电信信号，已经被训练为将心律失常聚类的神经网络一般将不起作用。

发明内容

描述了使用人工神经网络来对源自不同的传感器和换能器的数据进行抽象。

在一个实施方式中，一种方法包括识别循环人工神经网络中的活动的拓扑模式(topological pattern)以及输出数字的集合。所述拓扑模式响应于到所述循环人工神经网络中的、源自第一传感器的第一数据以及源自第二传感器的第二数据的输入。每个拓扑模式对由所述第一数据和所述第二数据共享的特性进行抽象。所述第一传感器和第二传感器感测不同的数据。每个数字表示在人工神经网络中是否已经识别活动的所述拓扑模式中的一个。对应的系统和装置——包括被编码在计算机存储介质上的计算机程序——也是可能的。

在另一个实施方式中，一种方法包括识别循环人工神经网络中的活动的拓扑模式以及输出数字的集合。所述拓扑模式中的每个指示在所述循环人工神经网络中的对源自第一传感器的第一数据和源自第二传感器的第二数据二者的一特定的操作的性能。所述第一传感器和第二传感器感测不同的数据。每个数字表示在人工神经网络中是否已经识别活动的所述拓扑模式中的一个。对应的系统和装置——包括被编码在计算机存储介质上的计算机程序——也是可能的。

在另一个实施方式中，一种循环人工神经网络包括：第一区域，所述第一区域被配置为接收源自第一传感器的数据；第二区域，所述第二区域被配置为接收源自第二传感器的数据；以及第三区域，所述第三区域被配置为接收由所述第一区域和由所述第二区域二者进行的处理的结果。所述第一区域主要由源自所述第一传感器的数据扰动(perturb)，并且所述第二区域主要由源自所述第二传感器的数据扰动，即使当两个区域同时被扰动时。所述第三区域被配置为输出响应于由所述第一区域和由所述第二区域进行的处理的所述结果的活动的拓扑模式的存在的指示。对应的系统和装置——包括被编码在计算机存储介质上的计算机程序——也是可能的。

在另一个实施方式中，一种设备包括循环人工神经网络的分层系统(hierarchical system，分级系统)。所述分层系统的第一级包括：第一循环人工神经网络，所述第一循环人工神经网络被配置为：接收源自第一传感器的数据，并且输出响应于源自所述第一传感器的所述数据的输入的活动的拓扑模式的存在的第一指示；以及第二循环人工神经网络，所述第二循环人工神经网络被配置为：接收源自第二传感器的数据，并且输出响应于源自所述第二传感器的所述数据的输入的活动的拓扑模式的存在的第二指示，其中所述第一传感器和第二传感器感测不同的数据。所述分层系统的第二级包括第三循环人工神经网络，所述第三循环人工神经网络被配置为：接收所述第一循环人工神经网络中的活动的拓扑模式的存在的指示以及所述第二循环人工神经网络中的活动的拓扑模式的存在的指示。所述第三循环人工神经网络被配置为对由所述第一指示和所述第二指示共享的特性进行抽象。对应的系统和装置——包括被编码在计算机存储介质上的计算机程序——也是可能的。

这些和其他实施方式可以包括以下特征中的一个或多个。可以将源自所述第一传感器的所述第一数据以及源自所述第二传感器的所述第二数据输入到所述循环人工神经网络中。所述第一数据和所述第二数据可以在时间上足够接近地被输入到所述循环人工神经网络中，使得响应于所述第一数据和第二数据的输入的扰动同时存在于所述循环人工神经网络中。活动的所述拓扑模式可以是团(clique)模式。活动的所述团模式可以包围空腔。可以定义多个时间窗，在所述多个时间窗期间，人工神经网络的所述活动响应于到所述人工神经网络中的输入。可以在所述多个时间窗中的每个中识别活动的所述拓扑模式。所述第一传感器可以产生输出数据流，并且所述第二传感器可以产生较缓慢改变的或静态的输出数据。可以对所述较缓慢改变的或静态的输出数据进行速率编码(rate code)。在源自第一换能器的数据被输入到所述循环人工神经网络中的同时，经速率编码的数据可以被输入到所述循环人工神经网络中。输入源自所述第一传感器和第二传感器的数据可以包括延迟源自第一换能器的数据的输入，以协调源自所述第一传感器的数据的输入与源自所述第二传感器的数据的输入。源自所述第一传感器的数据的所述输入可以被中断，并且在该中断期间可以继续对活动的所述拓扑模式进行识别以及输出数字的所述集合。在该中断之前，识别的、活动的拓扑模式可以包括第一模式，并且在该中断期间，识别的、活动的拓扑模式还包括相同的第一模式。输入源自所述第一传感器和第二传感器的所述数据可以包括基于源自所述第二传感器的所述数据来缩放源自所述第一传感器的所述数据的幅度(magnitude)。输入源自所述第一传感器和所述第二传感器的数据可以包括基于源自所述第二传感器的数据来设置所述循环人工神经网络的参数。输入源自所述第一传感器和所述第二传感器的数据可以包括基于源自所述第二传感器的数据来设置来自所述循环人工神经网络的数据的输出的参数。输入源自所述第一传感器和所述第二传感器的数据可以包括：将源自所述第一传感器的数据输入到循环神经网络的第一区域中，其中所述第一区域主要由源自所述第一传感器的种类的数据扰动；以及将源自所述第二传感器的数据输入到循环神经网络的第二区域中，其中所述第二区域主要由源自所述第二传感器的种类的数据扰动。所述数字可以是多值的并且表示活动的所述拓扑模式存在于人工神经网络中的概率。所述第一传感器和第二传感器可以是将不同的物理属性转换成数据的第一换能器和第二换能器。源自第三传感器的第三数据可以被输入到所述循环人工神经网络中。所述第三传感器感测与所述第一数据和第二数据不同的数据，并且所述第三数据可以被输入到所述循环人工神经网络中，使得响应于所述第一数据、所述第二数据和第三数据的输入的扰动同时存在于所述循环人工神经网络中。可以识别对由所述第一数据、所述第二数据和所述第三数据共享的特性进行抽象的拓扑模式。

所述第一区域和所述第二区域中的每个可以是节点和边缘的可识别地离散的(identifiably discrete)集合，其中在每个区域之间具有相对少的节点到节点连接。所述第一区域可以被配置为输出主要响应于源自所述第一传感器的所述数据的输入的活动的拓扑模式的存在的指示。所述第一传感器可以产生输出数据流，并且所述第二传感器可以产生较缓慢改变的或静态的输出数据。速率编码器可以被耦合为：对所述较缓慢改变的或静态的输出数据进行速率编码，并且在源自所述第一传感器的数据被输入到所述第一区域中的同时，将经速率编码的数据输入到所述第二区域中。用于缩放的装置可以在由所述第一区域接收之前对源自所述第一传感器的所述数据的幅度进行缩放，其中所述缩放基于源自所述第二传感器的所述数据。输入可以被耦合为将源自所述第一传感器的数据中的一些注入到循环神经网络的一个节点或链接(link)中。所述输入可以包括延迟或缩放元件。所述延迟或所述缩放的幅度可以基于源自所述第二传感器的数据。所述分层系统的第一级可以包括第三循环人工神经网络，所述第三循环人工神经网络被配置为：接收源自第三传感器的数据，并且输出响应于源自所述第三传感器的所述数据的输入的活动的拓扑模式的存在的第三指示。所述第三循环人工神经网络可以被配置为：接收所述第三循环人工神经网络中的活动的拓扑模式的存在的第三指示，并且对由所述第一指示、所述第二指示和所述第三指示共享的特性进行抽象。

在附图和下文的描述中阐述一个或多个实施方式的细节。根据说明书、附图和权利要求书，本发明的其他特征、目的和优点将是明显的。

附图说明

图1是对源自多个不同的传感器的数据进行抽象的人工神经网络系统的一个实施方式的示意性表示。

图2和图3是可以从神经网络识别并且“读取”以生成数字的集合的活动的模式的表示。

图4是表示模式的发生作为时间的函数的图表。

图5是可以在被输入到神经网络中之前对源自不同的传感器的数据执行的各种处理动作的示意性表示。

图6-图10是用于将源自不同的传感器的数据输入到神经网络中的方法的示意性表示。

图11是用于从神经网络输出数据的一种方法的示意性表示，源自不同的传感器的数据被输入到该神经网络中。

图12是二进制数字集合的使用的示意性例示，该二进制数字集合表示在神经网络中的活动中的拓扑结构的发生。

图13是对源自多个不同的传感器的数据进行抽象的循环神经网络的分层系统的示意性例示。

各个附图中的相同的参考符号指示相同的元件。

具体实施方式

图1是对源自多个不同的传感器的数据50进行抽象的人工神经网络系统100的一个实施方式的示意性表示。神经网络系统100包括输入105的集合、神经网络110本身以及输出115的集合。神经网络110可以通过输入105接收源自多个不同的传感器的数据50。传感器可以是例如将不同的物理属性转换成数据的换能器或仅感测数据的设备，诸如，例如，感测文档或数据流的内容的设备。通过神经网络110对数据50的抽象可以从输出115被读取为例如(一般二进制)数字120的集合，每个数字表示响应于输入数据50的神经网络110中的活动的相应的拓扑模式的存在或不存在。活动的这些响应模式表示由神经网络110对输入数据50执行的一特定的操作。该操作可以是任意复杂的。因此，单个数字可以对任意复杂的操作进行编码，并且一组数字可以传送一组操作，每个操作具有任意水平的复杂度。

此外，活动的拓扑模式——以及其在数字120中的表示——可以是“通用的”：在某种意义上，它们不取决于被输入到神经网络中的数据的来源。确切地说，活动的拓扑模式表达被输入到神经网络110中的数据50的抽象特性——不管该数据的来源。

更详细地，数据50可以源自不同的传感器并且具有不同的格式。例如，某些种类的数据(例如，视频或音频数据)可以在时间上相对快速地改变，而其他种类的数据(例如，静态图像或温度)可以相对缓慢地改变或根本不改变。尽管不同的来源和格式，但是神经网络110仍可以从数据抽象特性。例如，神经网络110可以抽象：

-物理特点(例如，颜色、形状、定向、速度)，

-类别(例如，汽车、猫、狗)，和/或

-抽象定性特点(例如，“活的”对“死的”、“平滑的”对“粗糙的”、“有生命的”对“无生命的”、“热的”对“冷的”、“打开的”对“关闭的”)。

活动的拓扑模式——以及其在数字120中的表示——是神经网络110对多样的数据50的响应。通常，活动的多个拓扑模式将响应于单个输入而出现，无论输入是离散的(例如，静态照片或来自测量物理参数的换能器的单个读数)还是连续的(例如，视频或音频流)。

有时，神经网络110将用一个或多个相同的拓扑模式来对源自不同的传感器的数据50的输入作出响应，即使其他拓扑模式是不同的。例如，神经网络110可以用表示“热的”的定性评估的拓扑模式来对温度读数或沙漠的静态图像作出响应，即使其他拓扑模式也是对每个输入的响应的一部分。类似地，神经网络110可以用表示“已完成”的定性评估的拓扑模式来对音乐作品的结尾或具有碎屑的盘子的静态图像作出响应，即使其他拓扑模式也是对每个输入的响应的一部分。因此，有时，可以从具有不同的来源和不同的格式的数据抽象相同的特性。

有时，神经网络110将用表示来自那些传感器的数据50的特性的合成或融合的一个或多个拓扑模式来对源自不同的传感器的数据的输入作出响应。换句话说，单个这样的模式可以表示对存在于不同的类型的数据中的相同特性的抽象。一般而言，来自不同的传感器的数据的融合或合成将起作用以导致这样的模式出现或这样的模式的活动的强度增加。换句话说，来自不同的传感器的数据可以充当存在于多样的输入数据中的相同的特性的“佐证证据”。

在一些情况下，只有在来自不同的传感器的数据中存在某些特性时，表示来自不同的传感器的数据的特性的合成或融合的拓扑模式才出现。神经网络110实际上可以充当与门(AND gate)，并且要求来自不同的传感器的数据中的某些特性以使活动的某些模式出现。然而，情况不必如此。相反，可以响应于来自不同的传感器的数据，形成一个模式的活动的幅度可以增加，或该活动的特定时间可以被缩短。实际上，活动的拓扑模式——以及其在数字120中的表示——表示在一非常丰富的状态空间中对数据50的特性的抽象。换句话说，活动的拓扑模式以及其表示未必是处理输入数据的预定义“结果”，在某种意义上，例如，是/否分类是由分类器产生的预定义结果，一组相关输入是由聚类设备(clusteringdevice)产生的预定义结果，或预测是由预报模型产生的预定义结果。确切地说，拓扑模式是对输入数据的特性的抽象。尽管状态空间有时可以包括诸如是/否分类的抽象，但是状态空间不仅限于那些预定义结果。

此外，拓扑模式可以抽象输入数据的仅一部分(例如，图像的一特定区域、或视频或音频流中的一特定时刻、或诸如像素的输入的一特定细节)的特性而不是输入数据的全部。因此，抽象的状态空间不限于预定义类型的结果(例如，分类、聚类或预报)，也不限于对输入数据的全部的抽象。确切地说，拓扑模式是允许读取由高维、非线性、循环动态系统(即，神经网络110)进行的处理的工具。拓扑模式提取在神经网络110中出现的、来自不同传感器的数据的相关性——包括将数据融合成更完整的“整体”的相关性。

在输入数据50时，神经网络110将以某个活动作出响应。该活动将包括：

-与所定义的拓扑模式不相称的活动，以及

-的确与所定义的拓扑模式相称的活动。

神经网络110中的与所定义的拓扑模式不相称的活动在一些情况下可以是输入数据50的特性的不正确或不完整的抽象。此外，神经网络110中的的确与所定义的拓扑模式相称的活动可以对输入数据50的不同的特性进行抽象。被抽象的特性中的每个可能或多或少是有用的，这取决于应用程序。通过将数字120限制为某些拓扑模式的表示，不正确或不完整的抽象以及对与一特定应用程序不相关的特性的抽象二者可以被“过滤掉”并且被从数字120排除。

在所例示的实施方式中，数据50包括以下中的一个或多个：源自例如麦克风的声音数据60、源自例如静态摄像机的静态图像数据62、源自例如视频摄像机的视频数据64以及源自例如温度传感器的温度数据66。这仅是出于例示性目的。数据50不必包括以下中的一个或多个：声音数据60、静态图像数据62、视频数据64、温度数据66。此外，数据50可以包括各种其他不同类型的数据——包括例如，压力数据、化学成分数据、加速度数据、电数据、位置数据等——中的一个或多个。如下文进一步讨论的，源自一个传感器的数据50可以在被输入到神经网络110中之前经历一或多个处理动作。这样的处理动作的示例包括例如人工神经网络设备中的非线性处理。

如上文所讨论的，在神经网络110中出现的拓扑模式是在一丰富的状态空间中对输入数据50的特性的抽象。如果要将数据50限制为源自少量的传感器，神经网络110可能不太可能以某些方式抽象来自所述传感器的数据。通过示例的方式，神经网络110可能不太可能将温度数据66本身抽象成对应于像形状或定向的空间特点的活动的模式。然而，当来自不同的传感器的数据被输入到神经网络110中时，由多样的输入数据50引发的扰动互相相遇，并且可以共同地影响神经网络110中的活动。作为结果，神经网络110可以将输入数据50抽象成活动的不同的或更确定的模式。

例如，可能存在与模式的存在或不存在相关联的一定程度的不确定性。如果数据50包括来自多样的范围的传感器的数据，随着源自不同的传感器的数据50在神经网络110中被合成或融合，模式的多样性和模式的确定性二者可以增加。通过类比的方式，坐在位于火车站的火车内的乘客可以向窗外看，并且看到似乎正在移动的相邻的火车。该同一乘客也可以例如感觉到来自座位的向前压力。此信息的融合或合成增加了乘客的确定性的程度，即该乘客的火车正在移动而不是相邻的火车正在移动。当神经网络接收多样的输入数据50时，由该数据引发的扰动可以被共同地抽象成活动的不同的或更确定的模式。

神经网络110处理来自多样的传感器的输入数据50的能力也为对该数据的抽象提供一定程度的鲁棒性。通过示例的方式，一组中的一个传感器可能变得不准确或甚至不起作用，而神经网络110仍可以继续对来自其他传感器的数据50进行抽象。常常，神经网络110将来自其他传感器的数据50抽象成若所有的传感器如所设计的那样起作用则将出现的活动的相同的模式。然而，在一些情况下，那些抽象的确定性可能降低。然而，即使这样的问题出现，抽象也可以继续。

在所例示的实施方式中，输入105被示意性地表示为节点的明确定义的输入层，每个所述节点被动地将输入中继到神经网络110中的一个或多个位置。然而，情况未必如此。例如，在一些实施方式中，输入105中的一个或多个可以在数据被传送到神经网络110之前对输入数据的某一部分或全部进行缩放或执行其他初步处理。作为另一个示例，数据50可以被注入到整个神经网络110中的不同的层和/或边缘或节点中，即，无这样的正式的输入层。例如，用户可以指定数据将被注入到分布在整个网络110中的特定节点或链接中。作为另一个示例，神经网络110不必被限制为以已知的、先前定义的方式接收输入(例如，总是将第一位注入到第一节点中，将第二位注入到第二节点中，……等)。相反，用户可以指定数据中的某些位将被注入到边缘而非节点中，注入的顺序不必遵循位出现的顺序、或这些和其他参数的组合。然而，为方便起见，在本文中将维持作为输入层的输入105的表示。

在所示的实施方式中，神经网络110被示意性地例示为循环神经网络。在循环神经网络中，节点之间的连接沿着一时间序列形成有向图表(directed graph)，并且网络表现出时间动态行为。在一些实施方式中，神经网络110是在生物系统上建模的相对复杂的神经网络。换句话说，神经网络110本身可以对生物系统的形态学、化学和其他特性的程度进行建模。一般而言，在生物系统上建模的神经网络110是在具有相对高水平的计算性能的一个或多个计算设备上实施的。

与例如传统的前馈神经网络相比，在生物系统上建模的神经网络110可以显示不响应于输入数据50的背景或其他活动。实际上，甚至在不存在输入数据50的情况下，活动可以存在于这样的神经网络110中。

然而，在输入数据50时，神经网络110将被扰动。由于这样的神经网络110对扰动的响应可能部分地取决于在输入数据50时神经网络110的状态，因此这样的神经网络110对数据50的输入的响应也可能取决于已经存在于神经网络110中的背景或其他活动。

然而，即使神经网络中的这样的活动不仅响应于数据50的输入，而且它响应于输入数据50。数字120因此可以表示存在或不存在响应于输入数据的活动的模式中出现的拓扑结构，即使在在生物系统上建模的相对复杂的神经网络中。

在所例示的实施方式中，输出115被示意性地表示为多个节点输出层。然而，输出115不必是多个节点输出层。例如，输出节点115可以是单独的“读取器节点”，所述“读取器节点”识别神经网络110中的一特定的节点集合处的活动的一特定的模式的发生，并且因此读取神经网络110的输出。当且仅当一特定的节点集合处的活动满足特定时间(并且可能地满足幅度或其他)标准时，读取器节点才能启动。例如，输出节点115可以连接到神经网络110中的一节点集合，并且基于例如以下来指示存在或不存在拓扑结构：跨越一相应的阈值激活水平的每个单独的节点的活动水平、跨越一阈值激活水平的那些节点的活动水平的加权和、或跨越一阈值激活水平的那些节点的活动水平的非线性组合。

通过输出115接收的输出是数字120的集合，每个所述数字表示神经网络110——其可以被实施为对生物系统的特性进行建模的相对复杂的神经网络——中的活动的一相应的模式的存在或不存在。集合120仅被示意性地例示，并且集合120可以是例如数字的一维向量、数字的二维矩阵或数字的其他集合。一般而言，集合120中的数字将是二进制的，并且以是/否的方式指示活动的模式是否存在。然而，情况未必如此。相反，在一些实施方式中，集合120中的数字将是多值的。值可以表示神经网络110中的活动的一相应的模式的存在或不存在的特性。例如，值可以指示活动的强度或活动的一特定的模式实际上存在的统计概率。通过示例的方式，幅度相对大或在一相对短的时间窗内发生的活动可以被认为指示一特定的操作已经被执行或很可能已经被执行。相比之下，幅度相对小或在一相对较长的时间内发生的活动可以被认为不太可能指示一特定的操作已经被执行。

集合120中的信息被全息地表示：在某种意义上，关于单个数字的值的信息被分布在集合120中的其他数字的值上。换句话说，集合120中的数字的随机子集也包含关于由神经网络110响应于输入50而执行的操作的信息，只是以比集合120中的所有数字都存在时将存在的更低分辨率。如下文进一步论述的，不同的拓扑模式具有不同程度的复杂度。一些相对更复杂的模式可以包括相对不太复杂的模式并且简单的模式可以被组装成更复杂的模式。此外，由一些数字表示的相对高水平的抽象可以在某种程度上与由其他数字表示的其他抽象相关。例如，表示像“活的”的抽象定性特点的发生的数字可以与表示像“有生命的”的定性特点的数字相关。因此，关于一些拓扑模式的发生的信息固有地包括关于其他拓扑模式的发生的一些信息。

为了方便起见，本申请的剩余部分将集合120的数字称为二进制位并且附图将像这样地例示它们。然而，应理解，在所有情况下，集合120的数字也可以是多值的，以对由网络执行的操作的各方面进行编码。

图2是可以从神经网络110(图1)识别并且“读取”以生成集合120的活动的模式400的表示。

模式400是循环人工神经网络中的活动的表示。为了读取模式400，功能图表(functional graph)被视为以节点作为点的拓扑空间。与模式400相称的节点和链接中的活动可以被识别为有序的，不管参与该活动的特定的节点和/或链接的身份。在所例示的实施方式中，模式400全都是有向团或有向单纯形(directed simplice)。在这样的模式中，活动源自将信号传输到模式中的每一个其他节点的源节点。在模式400中，这样的源节点被指定为点0，而其他节点被指定为点1、2、……。此外，在有向团或单纯形中，节点中的一个充当汇聚器(sink)并且接收从模式中的每一个其他节点传输的信号。在模式400中，这样的汇聚节点被指定为模式中的最高编号的点。例如，在模式405中，汇聚节点被指定为点2。在模式410中，汇聚节点被指定为点3。在模式415中，汇聚节点被指定为点3，以此类推。因此，由模式400表示的活动以可区分的方式排序。

模式400中的每个具有不同数目的点并且反映不同数目的节点中的有序活动。例如，模式405是二维单纯形并且反映三个节点中的活动，模式410是三维单纯形并且反映四个节点中的活动，以此类推。随着模式中的点的数目增加，活动的排序程度和复杂度也增加。例如，对于在一窗内具有一定水平的随机活动的节点的大集合，所述活动中的一些可能出于偶然与模式405相称。然而，随机活动将逐步地越来越不可能与模式410、415、420……中的相应的模式相称。因此，与模式405相称的活动的存在相比，与模式430相称的活动的存在指示活动中的相对较高的排序程度和复杂度。

可以为活动的复杂度的不同确定定义不同持续时间的窗。例如，与当要识别与模式405相称的活动时相比，当要识别与模式430相称的活动时，可以使用更长持续时间的窗。

图3是可以从神经网络110(图1)识别并且“读取”以生成二进制数字集合120的活动的模式300的表示。

模式300是相同维度(即，具有相同数目的点)的有向团或有向单纯形的组，其定义了涉及比单独的团或单纯形更多的点的模式并且在有向单纯形的组内包围空腔。

通过示例的方式，模式305包括一起定义了级别二的同调类(homology class)的六个不同的三点、二维模式405，而模式310包括一起定义了级别二的第二同调类的八个不同的三点、二维模式405。模式305、310中的三点、二维模式405中的每个可以被认为包围一个相应的空腔。与有向图表相关联的第n个Betti数提供拓扑表示中的这样的同调类的计数。

由诸如模式300的模式表示的活动表示了不太可能因随机偶然出现的网络中的活动的相对高的排序程度。模式300可以被用来将该活动的复杂度特征化。

在一些实施方式中，识别活动的仅一些模式和/或丢弃或以其他方式忽略识别的、活动的模式的某个部分。例如，参考图2，与五点、四维单纯形模式415相称的活动固有地包括与四点、三维和三点、二维单纯形模式410、405相称的活动。例如，图2的四维单纯形模式415中的点0、2、3、4和点1、2、3、4都与三维单纯形模式410相称。在一些实施方式中，包括较少点——并且因此具有较低维度——的模式可以被丢弃或以其他方式被忽略。作为另一个示例，需要识别活动的仅一些模式。例如，在一些实施方式中，仅具有奇数的点(3、5、7、……)或偶数的维度(2、4、6、……)的模式被识别。尽管识别了仅一些模式，但是关于神经网络中的活动的信息仍可以被全息地表示，即，以与在输出中全部模式被识别和/或表示时更低的分辨率。

如上文所讨论的，响应于输入数据50的活动的模式表示由神经网络110对该输入数据50执行的任意复杂度的特定的操作。在一些实施方式中，操作的复杂度将被反映在拓扑模式的复杂度中。例如，由五点、四维单纯形模式415表示的操作或抽象可以比由四点、三维和三点、二维单纯形模式410、405表示的操作或抽象更复杂。在这样的情况下，表示活动的存在的数字表示在神经网络110中执行一组操作或抽象，其中这些操作或抽象中的每个具有任意水平的复杂度。

图4是具有可区分的复杂度的活动模式的特定时间的确定的示意性表示。图4中表示的确定可以作为从神经网络110(图1)中对活动的模式进行识别或“读取”以生成二进制数字集合120的一部分来执行。

图4包括图表605和图表610。图表605表示作为沿着x轴的时间的函数的模式的发生。具体地，各个发生被示意性地表示为竖直线606、607、608、609。每一行的发生可以是活动匹配一相应的模式或一类模式的实例。例如，顶行的发生可以是活动匹配模式405(图2)的实例，第二行的发生可以是活动匹配模式410(图2)的实例，第三行的发生可以是活动匹配模式415(图2)的实例，以此类推。

图表605还包括示意性地描绘在活动模式具有可区分的复杂度时的不同的时间窗的虚线矩形615、620、625。如所示出的，在由虚线矩形615、620、625描绘的窗期间，循环人工神经网络中的活动匹配指示复杂度的模式的可能性比在那些窗外部更高。

图表610表示与作为沿着x轴的时间的函数的这些发生相关联的复杂度。图表610包括：复杂度的第一峰630，其与由虚线矩形615描绘的窗一致；以及复杂度的第二峰635，其与由虚线矩形620、625描绘的窗一致。如所示出的，由峰630、635表示的复杂度是与可以被认为是复杂度的基线水平640的复杂度可区分的。

在一些实施方式中，循环人工神经网络的输出将被读取的时间与具有可区分的复杂度的活动模式的发生一致。例如，在图4的例示性上下文(context)中，可以在峰630、635处，即，在由虚线矩形615、620、625描绘的窗期间，读取循环人工神经网络的输出。

在一些实施方式中，不仅具有可区分的复杂度的活动模式的内容而且所述活动模式的特定时间可以从循环人工神经网络输出。具体地，不仅参与与活动模式相称的活动的节点的身份和活动，而且活动模式的特定时间可以被认为循环人工神经网络的输出。因此，所识别的活动模式以及将读取此决策的特定时间可以表示通过神经网络进行的处理的结果。

图5是可以在被输入到神经网络110中之前对源自不同的传感器的数据50执行的各种处理动作500的示意性表示。如之前，特定类型的数据和特定结构的输入105仅是例示性的。

例如，源自一个输入传感器的数据50可以在被输入到输入105中之前被缩放505。不仅可以基于神经网络110的特性而且可以基于被输入到神经网络110中的其他数据50的特性来选择缩放的幅度。例如，如果相对大量的数据50将被输入到神经网络110中，可以按相对小的标量(scalar)缩放各个数据点，以维持与例如神经网络110的启动阈值和其他特性的兼容性。另一方面，如果相对小量的数据50将被输入到神经网络110中，可以按相对较大的标量来缩放各个数据点，以维持与例如神经网络110的启动阈值和其他特性的兼容性。

作为又一个示例，缩放可以被用来实施振幅编码(amplitude-coding)方案。例如，不是试图将诸如颜色和温度的参数的二进制或其他表示输入到神经网络110中，而是可以使用振幅来对相同的参数进行编码。

作为另一个示例，源自一个输入传感器的数据50可以在被输入到输入105中之前被延迟510。一些数据的输入可以被延迟，使得源自不同传的传感器的数据可以在时间上被同步或以其他方式被协调。例如，数据50的到达可以被定时，例如，以确保要求不同的持续时间来完成的处理的结果可以被同时输入、以确保抑制性或兴奋性效应被恰当地定时、或以确保不同的刺激在达到激活阈值的时间上足够接近地到达。延迟还可以被用来实施逻辑功能，例如，以对不同的刺激进行定时，使得一个刺激总是在由一个较早的刺激产生的任何不应期(refractory period)期间到达。作为又一个示例，延迟可以被用来实施指定例如在一个给定的时间处的活动的(active)节点的数目、在一特定时间窗期间接收的输入的量等的网络范围(network-wide)策略。

作为又一个示例，延迟可以被用来实施相位编码方案。不是试图将诸如颜色和温度的参数的二进制或其他表示输入到神经网络110中，而是可以使用到神经网络110中的输入的特定时间来对相同的参数进行编码。

作为另一个示例，源自一个输入传感器的数据50可以在被输入到输入105中之前被速率编码515。速率编码将值的幅度转换成启动速率，例如，输入信号被呈现在输入105上的频率。

在一些实施方式中，速率编码可以被用来将不同的频率数据50输入到单个神经网络110中，例如，以相同的方式或同时地。换句话说，缓慢改变的或静态的数据50可以在一相对较长的时间段上扰动神经网络110。通过延长输入的持续时间，缓慢改变的或静态的数据50可以更类似于相对快速改变的更动态的数据50扰动神经网络110的方式来扰动神经网络110。

通过示例的方式，静态图像数据62被定义“静态的”，即图像中的各个像素的值不随时间改变。相反，视频或音频数据是动态的，并且各个像素的值随时间改变。不是例如仅用被缩放为静态图像数据62中的各个像素的颜色或其他特性来扰动神经网络110一次，而是相同的特性可以被速率编码成随时间扰动神经网络110的一系列输入。这样的扰动可以例如以与随时间改变的其他扰动(诸如音频或视频信号)相同的方式或同时被输入。

作为另一个示例，源自一个输入传感器的数据50可以在被输入到输入105中之前使用一个或多个其他神经网络被处理520。其他神经网络可以已经被训练为以达到特定的结果，诸如，例如，输入数据的分类、输入的聚类、或预测。

作为另一个示例，源自一个输入传感器的数据50可以被处理525以将动态的输入数据转换成不太动态的或甚至静态的输入数据。通过示例的方式，视频数据64是动态的，因为其一般从一个时刻到下一个时刻(例如，从帧到帧)改变。

不是例如以与视频数据64相同的帧速率扰动神经网络110，而是视频数据64可以在时间上被下采样(down-sample)，并且以与将输入一系列离散的静态图像的方式相同的方式被输入到神经网络110中。例如，视频数据64的一特定帧可以被采样并且被保持在神经网络110的输入上直到神经网络110重新进入指示对视频数据64的该特定样本的抽象完成的静止或其他状态。

在一些实施方式中，这样的下采样可以被用来将不同的频率数据50输入到单个神经网络110中，例如以相同的方式或同时地。例如，可以与静态的静态图像数据62相同的方式或同时输入下采样的视频数据64。

作为另一个示例，不同的数据50可以被多路复用525以用于输入到神经网络110中。例如，神经网络110中的单个节点或边缘可以接收源自不同的传感器的数据50。许多不同的方案可以被用来多路复用输入。例如，来自不同的传感器的不同的数据可以在不同的时间被输入到神经网络110中的单个节点或边缘中(时分复用)。作为另一个示例，来自不同的传感器的不同的数据可以不同的频率被输入到神经网络110中的单个节点或边缘中(频分复用)。

作为另一个示例，不同的数据50可以在被输入到神经网络110中之前根据线性或其他函数被处理530。例如，数据50可以在被输入之前被过滤、分类、编码或以其他处理。处理的结果可以被输入到神经网络110中。

图6是用于将源自不同的传感器的数据50输入到神经网络110中的一种方法的示意性表示。如所示出的，输入105中的每个具有延伸到例如神经网络110中的一个节点或边缘的至少一个突起(projection)。在一些情况下，来自不同的输入105的突起可以延伸到神经网络110中的相同的节点或边缘。每个节点或边缘可以接收一个组合的输入，该组合的输入表示例如从不同的传感器接收的输入的线性叠加或其他组合。

图7是用于将源自不同的传感器的数据50输入到神经网络110中的另一种方法的示意性表示。在所例示的实施方式中，网络输入105的不同的子集105’、105”、105”’专用于接收不同类型的输入数据。例如，第一子集105’可以专用于接收第一种类的输入数据(例如，源自第一传感器的数据)，而第二子集105’可以专用于接收第二种类的输入数据(例如，源自第二传感器的数据)。

在一些实施方式中，神经网络110的对应的“区域”705、710从网络输入105的不同的子集105’、105”、105”’接收不同种类的输入数据。例如，在示意性例示中，区域705、710被示出为节点和边缘的空间离散集合，每个区域之间具有相对少的节点到节点连接。情况未必如此。确切地说，每个区域705、710的节点和边缘可以在神经网络110中空间分布，但仍接收一特定种类的输入数据。

不管每个区域705、710中的节点的分布，每个区域705、710中的处理主要——但未必是排他地——分别由接收的种类的输入数据扰动。可以基于在相应的种类的输入数据存在和不存在的情况下、在一区域中发生的活动来测量扰动的程度。例如，主要由第一种类的输入数据扰动的区域可以大致相同的方式对该第一种类的输入数据作出响应，不管其他种类的输入数据是否同时扰动网络110。由每个区域705、710执行的处理和抽象主要由所接收的种类的输入数据影响。然而，在每个区域705、710中出现的活动的拓扑模式可以被读取为数字集合120。对于循环神经网络110的其他区域也是如此。

这通过单独地指定网络输出115的不同的子集115’、115”、115”’而在神经网络系统700中被示意性地表示。具体地，子集115’可以专用于输出表示在神经网络110的区域705中出现的活动的拓扑模式的数字，而子集115”’可以专用于输出表示在神经网络110的区域710中出现的活动的拓扑模式的数字。然而，子集115”输出在区域705、710中的任何一个中都未被发现的数字。实际上，在子集115”中输出的数字可以表示在区域705、710中出现的抽象表示和处理结果的融合或进一步抽象至更高水平的复杂度。

例如，当且仅当子集115’中的一个或多个数字以及子集115”’中的一个或多个数字二者都具有特定的值时，子集115”中的一个给定的数字才可以出现。因此，子集115”中的该数字可以表示任意更高水平的抽象——在区域705、710中生成的抽象还有输入数据本身二者。

当不同的区域主要由单一种类的输入数据扰动时，那些区域中的处理可以根据输入数据的性质而被定制。例如，连接的深度和网络回路的拓扑可以根据输入数据而被定制。在在生物系统上建模的循环神经网络中，神经元动力学和突触可塑性也可以根据输入数据而被定制。定制例如捕获不同的时间标度。例如，为处理相对快速地改变的种类的输入数据(例如，视频或音频数据)而定制的区域中的处理可以比为处理相对缓慢地改变或根本不改变的种类的输入数据而定制的区域中的处理更快。

此外，当循环神经网络的不同的区域主要由单一种类的输入数据扰动时，人类更容易将循环神经网络中出现的表示归因于特定的输入数据。在一个特定的区域中出现的表示可以被归因于主要扰动该区域的输入数据的种类。一旦在一个特定的区域中出现的表示被归因，响应于一个特定的区域中的表示而出现的更高水平的并且更复杂的抽象也可以被更容易地理解。

此外，训练可以针对于循环神经网络的、不主要由单一种类的输入数据扰动的部分，即针对于循环神经网络的、融合主要由单一种类的输入数据扰动的区域的处理结果的部分。实际上，主要由单一种类的输入数据扰动的区域将生成通用的输入数据的表示——不仅用于从循环神经网络的输出，而且用于使用循环神经网络的进一步抽象和其他操作。

图8是用于将源自不同的传感器的数据50输入到神经网络110中的另一种方法的示意性表示。神经网络110的所例示部分包括节点805、810以及链接815、820、825、830。在所例示的实施方式中，链接815、820是从节点805到节点810的单向链接。链接815、820也是单向链接，但是将节点810连接到神经网络110中的其他位置。

输入105包括第一输入835、第二输入840和第三输入845。在一些实施方式中，第一输入835专用于输入源自第一传感器的数据，第二输入840专用于输入源自第二传感器的数据，并且第三输入845专用于输入源自第三传感器的数据。

输入835、840、845可以是输入层的节点。在所例示的实施方式中，输入835、840、845将数据注入到神经网络110的链接而不是节点中。在一些实施方式中，在数据被传送到神经网络110之前，输入835、840、845可以例如缩放输入数据的某个部分或全部或执行其他初步处理。

在所例示的实施方式中，输入835通过链接850将数据注入到沿着链接815的第一位置中。输入840通过链接855将数据注入到沿着链接815的第二位置中。输入845通过链接860将数据注入到与输入835相同的沿着链接815的第一位置中。然而，链接860包括延迟元件865。延迟元件延迟来自输入845的数据到达沿着链接815的第一位置。通过延迟来自输入845的数据，延迟元件865可以帮助协调数据到达神经网络110中的沿着链接815的第一位置。

如上文所讨论的，这样的延迟在各种不同的情况下可能是有用的。通过延迟来自输入845的数据到达沿着链接815的第一位置，延迟元件865可以帮助确保来自输入845的数据的到达与来自输入845的数据的到达被恰当地同步。

图9是用于将源自不同的传感器的数据50输入到神经网络110中的另一种方法的示意性表示。神经网络110的所例示部分包括节点905和链接910、915、920。在所例示的实施方式中，链接910、915是被定向朝向节点905的单向链接，并且链接920是被定向背离节点905的单向链接。

输入105包括第一输入925、第二输入930和第三输入935。在一些实施方式中，第一输入925专用于输入源自第一传感器的数据，第二输入930专用于输入源自第二传感器的数据，并且第三输入935专用于输入源自第三传感器的数据。

输入925、930、935可以是输入层的节点。在一些实施方式中，在数据被传送到神经网络110之前，输入925、930、935可以例如缩放输入数据的某个部分或全部或执行其他初步处理。

在所例示的实施方式中，输入930通过链接940将数据注入到沿着链接910的第一位置中。输入935、940通过相应的链接945、950将数据注入到神经网络110中的其他地方。此外，通过输入935、940传送的数据可以被用来缩放通过链接940的输入的幅度。这由可变放大器955示意性地表示在图9中，该可变放大器955基于通过链接945、950的输入来缩放通过链接940的输入。

请注意，作为电压控制的放大器的可变放大器955的示例是示意性的并且出于教导的目的。例如，输入935、940通过链接945、950注入到神经网络110中的数据不必是例如相对缓慢改变的电压。确切地说，例如，可变放大器955可以基于链接945、950上的输入来改变通过链接940输入经速率编码的数据的频率。作为另一个示例，可变放大器955可以基于链接945、950上的输入来改变通过链接940的相位编码的数据的输入的特定时间。

不管它是如何实现的，通过可变放大器955基于来自输入925、935的数据对来自输入930的数据的缩放可以帮助基于源自一个或多个其他传感器的数据来对源自一个传感器的数据的相对重要性进行加权。

这样的缩放在各种不同的情况下可能是有用的。例如，如果通过输入925、935输入的数据所源自的传感器不存在，来自输入930的数据可能变得更重要。作为另一个示例，如果通过输入925、935输入的数据所源自的传感器具有某些值，来自输入930的数据的相关性可能增加或减少。作为又一个示例，来自输入930的数据的缩放可以反映神经网络110的训练。例如，神经网络110可以包括诸如可变放大器955的可变放大器的集合，每个可变放大器缩放通过不同的链接的不同的输入。可以使用定向训练过程来制定缩放。

作为又一个示例，来自输入930的数据的缩放可以反映外部的、依赖于上下文的因素，而不是内部的、依赖于状态的因素。例如，缩放可以基于例如一天中的时间或未以其他方式反映在神经网络110的活动中的其他因素而改变。

图10是用于将源自不同的传感器的数据50输入到神经网络110中的另一种方法的示意性表示。神经网络110的所例示部分包括节点1005和链接1010、1015、1020。在所例示的实施方式中，链接1010、1015是被定向朝向节点1005的单向链接，并且链接1020是被定向背离节点1005的单向链接。

输入105包括第一输入1025、第二输入1030和第三输入1035。在一些实施方式中，第一输入1025专用于输入源自第一传感器的数据，第二输入1030专用于输入源自第二传感器的数据，并且第三输入1035专用于输入源自第三传感器的数据。

输入1025、1030、1035可以是输入层的节点。在一些实施方式中，在数据被传送到神经网络110之前，输入1025、1030、1035可以例如缩放输入数据的某个部分或全部或执行其他初步处理。

在所例示的实施方式中，输入1030通过链接1040将数据注入到沿着链接1010的第一位置中。输入1035、1040通过相应的链接1045、1050将数据注入到神经网络110中的其他地方。此外，通过输入1035、1040传送的数据可以被用来改变链接1010的一个或多个参数。在所例示的实施方式中，链接1010包括参数设置元件1055，该参数设置元件1055可操作以基于通过链接1045、1050的输入来改变链接1010的一个或多个参数。

可以由参数设置元件1055改变的参数的示例包括例如：沿着链接1010传送的信号的幅度、沿着链接1010传送的信号的特定时间、沿着链接1010传送的信号的权重，以及甚至链接1010究竟是否可以将输入1030传送到节点1005。在神经网络110在生物系统上建模的实施方式中，生物系统的形态学、化学以及其他特性中的一个或多个可以由参数设置元件1055改变。示例将包括：用于激活链接1010的阈值、沿着链接1010的离子信道或受体的性质、数目和/或分布、或许多其他参数中的任何一个。

通过基于通过链接1045、1050的输入来改变链接1010的一个或多个参数，参数设置元件1055可以帮助基于源自一个或多个其他传感器的数据来对源自一个传感器的数据的相对重要性进行加权。如之前，缩放可以反映神经网络110的训练和/或外部的、依赖于上下文的因素。

图11是用于从神经网络110输出数据的另一种方法的示意性表示，该神经网络100被输入源自不同的传感器的数据。被示意性地表示的神经网络110包括通过链接1110读取的节点1105。神经网络110的输入105还包括第一输入1115、第二输入1120和第三输入1125。在一些实施方式中，第一输入1115专用于输入源自第一传感器的数据，第二输入1120专用于输入源自第二传感器的数据，并且第三输入1125专用于输入源自第三传感器的数据。

在所例示的实施方式中，输入1115、1120、1125还通过相应的链接1130、1135、1140将数据注入到神经网络110中。此外，通过输入1120、1125传送的数据可以被用来改变对节点1105进行读取所通过的链接1110的一个或多个参数。在所例示的实施方式中，链接1110包括参数设置元件1145，该参数设置元件1145可操作以基于通过链接1135、1140的输入来改变链接1110的一个或多个参数。

可以由参数设置元件1145改变的参数的示例包括例如：沿着链接1110传送的信号的值以及沿着链接1110传送的信号的特定时间。在神经网络110在生物系统上建模的实施方式中，生物系统的形态学、化学以及其他特性中的一个或多个可以由参数设置元件1145改变。示例将包括：用于激活链接1110的阈值、沿着链接1110的离子信道或受体的性质、数目和/或分布、或许多其他参数中的任何一个。

通过基于通过链接1135、1140的输入来改变链接1110的一个或多个参数，参数设置元件1145可以执行各种的不同的动作。例如，参数设置元件1145可以将值保持一相对较长的时间或直到重置。因此，这样的“保持”参数设置元件的集合可以指示活动的某些模式是否在相对长的时间段期间出现。该时间段可以是例如随时间改变的输入(诸如音频或视频流)的持续时间。

作为另一个示例，在集合120中数字是多值的实施方式中，参数设置元件1145可以对一个值进行缩放。缩放可以反映例如神经网络110的训练和/或外部的、依赖于上下文的因素。作为又一个示例，参数设置元件1145可以起作用以防止将一个值传送到输出115，实际上删除该值。再一次，删除可以反映例如神经网络110的训练和/或外部的、依赖于上下文的因素。

图12是表示在神经网络中的活动中的拓扑结构的发生的二进制数字集合120的使用的示意性例示。具体地，神经网络110可以是系统1200的一部分，该系统1200包括专用于对二进制数字集合120执行某些操作的一个或多个处理器1205、1210。

在所例示的实施方式中，处理器1205是线性处理器1205，该线性处理器1205基于集合120中的二进制数字的特性的线性组合来执行操作。例如，线性处理器1205可以是将对象——即，神经网络中的活动的模式的表示——进行分类的设备。换句话说，活动的模式的表示是一特征向量，该特征向量表示到神经网络110中的输入的、由线性处理器1205使用以将数据50进行分类的特性。

线性处理器1205包括输入1215和输出1220。输入1215被耦合为接收神经网络中的活动的模式的表示，即，二进制数字集合120。线性处理器1205可以各种方式接收二进制数字集合120。例如，通过实时或非实时通信信道，集合120中的数字可以作为离散事件的集合或作为连续流而被接收。

输出1220被耦合为输出来自线性处理器1205的处理结果。在所例示的实施方式中，输出1220被示意性地例示为具有多个信道的并行端口。情况未必如此。例如，输出1220可以通过串行端口或具有组合的并行和串行能力的端口来输出结果。

在一些实施方式中，线性处理器1205可以在具有相对有限的计算性能的一个或多个计算设备上实施。例如，线性处理器1205可以在个人计算机或诸如智能电话或平板计算机的移动计算设备上实施。

在所例示的实施方式中，处理器1210是神经网络处理器1210。神经网络处理器1210是基于数据的特性的非线性组合来对数据——即，神经网络中的活动的模式的表示——执行操作的神经网络设备。例如，神经网络处理器1210可以是将对象——即，神经网络中的活动的模式的表示——进行分类的设备。换句话说，活动的模式的表示是一特征向量，该特征向量表示到神经网络110中的输入的、由神经网络处理器1210使用以将数据50进行分类的特性。

在所例示的实施方式中，神经网络处理器1210是包括输入层1230和输出层1235的前馈网络。与线性分类器1205一样，神经网络分类器1210可以各种方式接收二进制数字集合120。例如，通过实时或非实时通信信道，集合120中的数字可以作为离散事件或作为连续流而被接收。

在一些实施方式中，神经网络处理器1210可以在具有相对有限的计算性能的一个或多个计算设备上执行推断。例如，神经网络处理器1210可以在个人计算机或诸如智能电话或平板计算机的移动计算设备上——例如，在这样的设备的神经处理单元中——实施。

在一些实施方式中，神经网络处理器1210可以是例如深度神经网络，诸如包括卷积层、池化层和全连接层的卷积神经网络。卷积层可以例如使用线性卷积滤波器和/或非线性激活函数来生成特征图(feature map)。池化层减少参数的数目并且控制过拟合(overfitting)。由神经网络处理器1210中的不同的层执行的计算可以在神经网络处理器1210的不同的实施方式中以不同的方式被定义。

图13是对源自多个不同的传感器的数据50进行抽象的循环神经网络110的分层系统1300的示意性例示。分层系统1300包括神经网络110的第一级1305和第二级1310。第一级1305中的每个神经网络110对来自一个相应的传感器的数据50进行抽象，并且输出表示响应活动中的拓扑结构的发生的数字集合120。第二级1310中的神经网络110对从第一级1305中的神经网络110输出的数字集合120进行抽象，并且输出表示响应活动中的拓扑结构的发生的数字集合120。因此，从第二级1310中的神经网络110输出的数字集合120可以包括将多样的输入数据50融合成更完整的“整体”的相关性。

在所例示的实施方式中，系统1300被例示为具有两级。情况未必如此。例如，分层系统可以包括更多级。神经网络的分层系统可以是平衡的或不平衡的，并且参差不齐的层次也是可能的。

此外，在所例示的实施方式中，输入到第一级1305中的神经网络110中的数据50包括声音数据60、静态图像数据62和视频数据64。情况未必如此，并且更少和/或其他类型的输入数据是可能的。

此外，上文所描述的处理动作中的每个(例如，图5)、用于输入数据的方法(例如，图6-图10)以及用于输出数据的方法(例如，图11可以与任何层级处的神经网络中的任何一个结合使用。

本说明书中所描述操作和主题的实施方案可以数字电子电路实施，或以计算机软件、固件或硬件——包括本说明书中所公开的结构以及其结构等同物——实施，或以它们中的一个或多个的组合实施。本说明书中所描述的主题的实施方案可以被实施为一个或多个计算机程序，即，计算机程序指令的一个或多个模块，所述一个或多个计算机程序被编码在计算机存储介质上以用于由数据处理装置执行或以控制数据处理装置的操作。可选地或附加地，程序指令可以被编码在人工生成的传播信号(例如，机器生成的电信号、光信号或电磁信号)上，所述传播信号被生成以编码信息以用于传输到合适的接收器装置以用于由数据处理装置执行。计算机存储介质可以是计算机可读存储设备、计算机可读存储基板、随机或串行存取存储器阵列或设备或它们中的一个或多个的组合或被包括在其中。此外，虽然计算机存储介质不是传播信号，但是计算机存储介质可以是被编码在人工生成的传播信号中的计算机程序指令的源或目的地。计算机存储介质还可以是一个或多个单独的物理部件或介质(例如，多个CD、盘(disk)或其他存储设备)或被包括在其中。

本说明书中所描述的操作可以被实施为数据处理装置对存储在一个或多个计算机可读存储设备上的或从其他源接收的数据执行的操作。

术语“数据处理装置”包含用于处理数据的所有种类的装置、设备和机器，通过示例的方式包括可编程处理器、计算机、片上系统或前述中的多个或前述的组合。该装置可以包括专用逻辑电路，例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路)。除硬件之外，该装置还可以包括为所讨论的计算机程序创建执行环境的代码，例如，构成处理器固件、协议栈、数据库管理系统、操作系统、跨平台运行时环境、虚拟机或它们中的一个或多个的组合的代码。该装置和执行环境可以实现各种不同的计算模型基础设施，诸如网络服务、分布式计算和网格计算基础设施。

计算机程序(也被称为程序、软件、软件应用程序、脚本或代码)可以任何形式的编程语言——包括编译或解释语言、声明性或过程性语言——编写，并且它可以任何形式被部署，包括作为独立的程序或作为模块、部件、子例程、对象或适合在计算环境中使用的其他单元。计算机程序可以但不必对应于文件系统中的文件。程序可以被存储在保存其他程序或数据的文件的一部分(例如，存储在标记语言文档中的一个或多个脚本)、专用于所讨论的程序的单个文件或多个协调文件(例如，存储一个或多个模块、子程序或代码的部分的文件)中。计算机程序可以被部署以在一个计算机上被执行或在位于一个站点或分布在多个站点并且通过通信网络互连的多个计算机上被执行。

本说明书中所描述的过程和逻辑流可以由一个或多个可编程处理器执行，所述一个或多个可编程处理器执行一个或多个计算机程序以通过对输入数据操作并且生成输出来执行动作。过程和逻辑流也可以由专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))执行，并且装置也可以被实施为专用逻辑电路(例如，FPGA(现场可编程门阵列)或ASIC(专用集成电路))。

适合于执行计算机程序的处理器通过示例的方式包括通用和专用微处理器二者，以及任何种类的数字计算机的任何一个或多个处理器。通常，处理器将从只读存储器或随机存取存储器或二者接收指令和数据。计算机的基本元件是用于根据指令执行动作的处理器和用于存储指令和数据的一个或多个存储器设备。通常，计算机还将包括用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)，或被操作性地耦合以从用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)接收数据，或将数据传送到用于存储数据的一个或多个大容量存储设备(例如，磁盘、磁光盘或光盘)或二者。然而，计算机不必具有这样的设备。此外，计算机可以被嵌入在另一个设备(例如，移动电话、个人数字助理(PDA)、移动音频或视频播放器、游戏控制台、全球定位系统(GPS)接收器或便携式存储设备(例如，通用串行总线(USB)闪盘驱动器)中，仅举几例。适合于存储计算机程序指令和数据的设备包括所有形式的非易失性存储器、介质和存储器设备，通过示例的方式包括半导体存储器设备，例如，EPROM、EEPROM和闪存设备；磁盘，例如，内部硬盘或可移动磁盘；磁光盘；和CD-ROM和DVD-ROM盘。处理器和存储器可以由专用逻辑电路补充或并入专用逻辑电路中。

为了提供与用户的交互，本文所描述的主题的实施方案可以在具有用于向用户显示信息的显示设备(例如，CRT(阴极射线管)或LCD(液晶显示器)监视器)和用户可以向计算机提供输入所通过的键盘和定点设备(例如，鼠标或追踪球)的计算机上实施。也可以使用其他种类的设备来允许与用户的交互；例如，提供给用户的反馈可以是任何形式的感觉反馈，例如，视觉反馈、听觉反馈或触觉反馈；并且可以任何形式接收来自用户的输入，包括声学、语音或触觉输入。另外，计算机可以通过向用户使用的设备发送文档和从用户使用的设备接收文档来与用户交互；例如，通过响应于从网络浏览器接收的请求而向用户的客户端设备上的网络浏览器发送网页。

虽然本说明书包含许多具体实施细节，但是这些细节不应被解释为对任何发明或可能要求保护的内容的范围的限制，而是应被理解为对特定于特定发明的特定实施方案的特征的描述。在本说明书中在单独的实施方案的上下文中描述的某些特征也可以在单个实施方案中组合实施。相反地，在单个实施方案的上下文中描述的多个特征也可以在多个实施方案中单独地或以任何合适的子组合实施。此外，尽管上文可以将特征描述为以某些组合起作用并且甚至这样最初要求保护，但是在一些情况下可以从组合删除来自所要求保护的组合的一个或多个特征，并且所要求保护的组合可以指向子组合或子组合的变体。

类似地，虽然在附图中以特定顺序描述了操作，但是这不应被理解为要求以所示出的特定顺序或以连续顺序执行这样的操作，或要求执行所有所例示的操作以获得期望的结果。在某些情况下，多任务和并行处理可能是有利的。此外，上文所描述的实施方案中的多种系统部件的分离不应被理解为在所有实施方案中都要求这样的分离，并且应理解，所描述的程序部件和系统通常可以在单个软件产品中集成在一起或被打包成多个软件产品。

因此，已经描述了主题的特定实施方式。其他实施方式在随附的权利要求书的范围内。在某些情况下，权利要求书中所记载的动作可以不同的顺序执行，并且仍可以获得期望的结果。另外，在附图中所描绘的过程未必需要所示出的特定顺序或连续顺序来获得期望的结果。在某些实施方式中，多任务和并行处理可能是有利的。

已经描述了多个实施方式。然而，应理解，可以作出各种改型。因此，其他实施方式在随附的权利要求书的范围内。

Claims (21)

1.一种方法，包括：

识别循环人工神经网络中的活动的拓扑模式，其中所述拓扑模式响应于到所述循环人工神经网络中的、源自第一传感器的第一数据以及源自第二传感器的第二数据的输入，并且每个拓扑模式对由所述第一数据和所述第二数据共享的特性进行抽象，其中所述第一传感器和第二传感器感测不同的数据；以及

输出数字的集合，其中每个数字表示在人工神经网络中是否已经识别了活动的所述拓扑模式中的一个。

2.根据权利要求1所述的方法，其中所述方法包括：将源自所述第一传感器的所述第一数据以及源自所述第二传感器的所述第二数据输入到所述循环人工神经网络中，其中所述第一数据和所述第二数据在时间上足够接近地被输入到所述循环人工神经网络中，使得响应于所述第一数据和所述第二数据的输入的扰动同时存在于所述循环人工神经网络中。

3.根据权利要求2所述的方法，其中输入源自所述第一传感器和所述第二传感器的数据包括：

将源自所述第一传感器的数据输入到循环神经网络的第一区域中，其中所述第一区域主要由源自所述第一传感器的种类的数据扰动；以及

将源自所述第二传感器的数据输入到循环神经网络的第二区域中，其中所述第二区域主要由源自所述第二传感器的种类的数据扰动。

4.根据权利要求1所述的方法，其中活动的所述拓扑模式是团模式。

5.根据权利要求4所述的方法，其中活动的所述团模式包围空腔。

6.根据权利要求1所述的方法，其中所述方法还包括定义多个时间窗，在所述多个时间窗期间，人工神经网络的所述活动响应于到所述人工神经网络中的输入，其中在所述多个时间窗中的每个中识别活动的所述拓扑模式。

7.根据权利要求1所述的方法，其中所述第一传感器产生输出数据流，并且所述第二传感器产生较缓慢改变的或静态的输出数据。

8.根据权利要求7所述的方法，还包括对所述较缓慢改变的或静态的输出数据进行速率编码，其中在源自第一换能器的数据被输入到所述循环人工神经网络中的同时，经速率编码的数据被输入到所述循环人工神经网络中。

9.根据权利要求1所述的方法，其中所述数字是多值的并且表示活动的所述拓扑模式存在于所述人工神经网络中的概率。

10.根据权利要求1所述的方法，其中：

所述方法还包括：将源自第三传感器的第三数据输入到所述循环人工神经网络中，其中所述第三传感器感测与所述第一数据和第二数据不同的数据，并且所述第三数据被输入到所述循环人工神经网络中，使得响应于所述第一数据、所述第二数据和第三数据的输入的扰动同时存在于所述循环人工神经网络中；以及

识别活动的所述拓扑模式包括识别对由所述第一数据、所述第二数据和所述第三数据共享的特性进行抽象的拓扑模式。

11.一种循环人工神经网络，包括：

第一区域，所述第一区域被配置为接收源自第一传感器的数据；

第二区域，所述第二区域被配置为接收源自第二传感器的数据，其中所述第一传感器不同于所述第二传感器，其中所述第一区域主要由源自所述第一传感器的数据扰动，并且所述第二区域主要由源自所述第二传感器的数据扰动，即使当两个区域同时被扰动时；以及

第三区域，所述第三区域被配置为接收由所述第一区域和由所述第二区域二者进行的处理的结果，其中所述第三区域被配置为输出响应于由所述第一区域和由所述第二区域进行的处理的所述结果的活动的拓扑模式的存在的指示。

12.根据权利要求11所述的循环人工神经网络，其中所述第一区域和所述第二区域中的每个是节点和边缘的可识别地离散的集合，其中在所述第一区域和所述第二区域之间具有相对少的节点到节点连接。

13.根据权利要求11所述的循环人工神经网络，其中所述第一区域被配置为输出主要响应于源自所述第一传感器的数据的输入的活动的拓扑模式的存在的指示。

14.根据权利要求11所述的循环人工神经网络，其中活动的所述拓扑模式是团模式。

15.根据权利要求14所述的循环人工神经网络，其中活动的所述团模式包围空腔。

16.根据权利要求11所述的循环人工神经网络，其中所述第一传感器产生输出数据流，并且所述第二传感器产生较缓慢改变的或静态的输出数据。

17.根据权利要求16所述的循环人工神经网络，还包括速率编码器，所述速率编码器被耦合为：对所述较缓慢改变的或静态的输出数据进行速率编码，并且在源自所述第一传感器的数据被输入到所述第一区域中的同时，将经速率编码的数据输入到所述第二区域中。

18.根据权利要求11所述的循环人工神经网络，还包括用于在由所述第一区域接收之前对源自所述第一传感器的数据的幅度进行缩放的装置，其中所述缩放基于源自所述第二传感器的数据。

19.根据权利要求11所述的循环人工神经网络，还包括输入，所述输入被耦合为将源自所述第一传感器的数据中的一些注入到循环神经网络的一个节点或链接中，其中所述输入包括延迟或缩放元件，其中所述延迟或所述缩放的幅度基于源自所述第二传感器的数据。

20.一种设备，包括：

循环人工神经网络的分层系统，

其中所述分层系统的第一级包括：

第一循环人工神经网络，所述第一循环人工神经网络被配置为：接收源自第一传感器的数据，并且输出响应于源自所述第一传感器的所述数据的输入的活动的拓扑模式的存在的第一指示，以及；

第二循环人工神经网络，所述第二循环人工神经网络被配置为：接收源自第二传感器的数据，并且输出响应于源自所述第二传感器的所述数据的输入的活动的拓扑模式的存在的第二指示，其中所述第一传感器和第二传感器感测不同的数据；

其中所述分层系统的第二级包括：

第三循环人工神经网络，所述第三循环人工神经网络被配置为：接收所述第一循环人工神经网络中的活动的拓扑模式的存在的指示以及所述第二循环人工神经网络中的活动的拓扑模式的存在的指示，其中所述第三循环人工神经网络被配置为对由所述第一指示和所述第二指示共享的特性进行抽象。

21.根据权利要求20所述的设备，其中：

所述分层系统的所述第一级还包括：

第三循环人工神经网络，所述第三循环人工神经网络被配置为：接收源自第三传感器的数据，并且输出响应于源自所述第三传感器的所述数据的输入的活动的拓扑模式的存在的第三指示，并且

所述第三循环人工神经网络被配置为：接收所述第三循环人工神经网络中的活动的拓扑模式的存在的第三指示，并且对由所述第一指示、所述第二指示和所述第三指示共享的特性进行抽象。

Images